Google 推出改进价格性能比的第八代 TPU 芯片：训练与推理分离

Gate News 消息，4 月 22 日——Google Cloud 宣布于 4 月 22 日发布其第八代自研定制 (Tensor Processing Unit)（TPU）芯片。新的产品线包括 TPU 8t，专为 AI 训练任务设计，以及 TPU 8i，针对 AI 推理工作负载进行了优化。两款芯片都将在今年晚些时候开始供货。Google 还发布了用于构建 AI 代理的新工具，并宣布一项 $750 百万美元基金，以推动企业采用 AI。

TPU 8t 在相同价格水平下，性能比 Google 上一代 Ironwood TPU 高 2.8 倍。TPU 8i 的性能比上一代提升 80%，并采用静态随机存取内存 (SRAM) 架构，以实现“具成本效益的大规模吞吐和低延迟，从而让数百万个代理可同时运行”，据 CEO 桑达尔·皮查伊（Sundar Pichai）表示。与 Ironwood 相比，TPU 8t 与 TPU 8i 的能效均实现超过两倍的性能/功耗表现，其中 TPU 8t 提升 124%，TPU 8i 提升 117%。Google 在整个技术栈上优化了能效，并集成动态功耗管理系统，根据实时需求调整能耗。

Google 的自研模型现在通过直接面向客户的 API 调用，每分钟处理超过 1600 亿个 tokens，而上个季度为 1000 亿。AI 现在在 Google 生成了 75% 的所有新代码，而去年秋季为 50%。Gemini Enterprise 是 Google 的企业产品，在付费月活用户方面实现了环比增长 40%。该公司预计到 2026 年，将其机器学习计算预算中略多于一半投入云服务，以更好地服务云客户与合作伙伴。Google 还在扩展与博通（Broadcom）的合作，以为未来代际开发并供应用于定制的 TPU 芯片，因为大型科技公司正在寻找替代方案，以应对来自 NVIDIA 和 AMD 的昂贵且供给受限的 GPU。