Google 新一代 TPU 揭曉 2 款 AI 晶片分攻訓練、推論

產品發布與市場背景

隨著 AI 代理時代來臨，推論成為未來最大的運算需求。Google 今天（2026 年 4 月 22 日）在 Google Cloud Next 2026 大會上正式發布第 8 代 AI 晶片 TPU。與上一代晶片不同，新一代共有 2 款產品，分別專攻訓練與推論，旨在大幅提升效能並挑戰輝達（NVIDIA）在 AI 晶片領域的霸主地位。

TPU 8t：專攻模型訓練

TPU 8t 專攻 AI 模型訓練，其設計重點在於大幅縮短模型訓練時間。透過優化架構，該晶片能顯著提升訓練效率，協助開發者更快地迭代與優化大型語言模型。

TPU 8i：專攻推論與延遲優化

TPU 8i 專攻推論應用，針對資料存取延遲進行優化。該晶片配備 288 GB HBM 記憶體，搭載 384 MB SRAM，擁有更高的記憶體頻寬。此設計能有效突破因資料頻繁搬移而導致延遲與高能耗的「記憶體牆」瓶頸，顯著降低推論延遲，滿足即時性要求高的 AI 應用場景。

性能提升與戰略意義

相較於前一代的 Ironwood TPU，這兩款新晶片在每瓦性能上最高提升達 2 倍。Google 透過將 AI 模型訓練與推論運算拆分為兩款專用晶片，不僅提升了整體效能，也強化了其在 AI 基礎設施上的競爭力。負責谷歌 AI 算力基礎設施與晶片研發的 Amin Vahdat 雖未針對專攻推理速度的晶片計畫置評，但暗示在相對不久的將來將有更多消息釋出。