Google lance des puces TPU de 8e génération améliorant le ratio performance-prix, sépare l’entraînement et l’inférence

Message Gate News, 22 avril — Google Cloud a annoncé la sortie de ses puces TPU (Tensor Processing Unit) sur mesure de 8e génération, le 22 avril. La nouvelle gamme comprend TPU 8t, conçu spécifiquement pour les tâches d’entraînement à l’IA, et TPU 8i, optimisé pour les charges de travail d’inférence IA. Les deux puces seront disponibles plus tard cette année. Google a également dévoilé de nouveaux outils pour construire des agents d’IA et annoncé un fonds $750 million pour accélérer l’adoption de l’IA en entreprise.

TPU 8t offre 2,8 fois les performances de l’ancienne TPU Ironwood de génération précédente de Google au même niveau de prix. TPU 8i améliore les performances de 80% par rapport à son prédécesseur et intègre une architecture de mémoire vive statique à accès aléatoire (SRAM) pour fournir « un débit à grande échelle rentable et une faible latence, permettant à des millions d’agents de fonctionner simultanément », selon le PDG Sundar Pichai. Par rapport à Ironwood, les TPU 8t et TPU 8i atteignent toutes deux plus du double de l’efficacité performance-par-watt, avec une amélioration de 124% pour TPU 8t et de 117% pour TPU 8i. Google a optimisé l’efficacité énergétique sur l’ensemble de la pile technologique et intégré des systèmes de gestion dynamique de l’alimentation qui ajustent la consommation selon la demande en temps réel.

Les modèles first-party de Google traitent désormais plus de 160 milliards de tokens par minute via des appels directs à l’API client, contre 100 milliards le trimestre dernier. L’IA génère désormais 75% de tout le nouveau code chez Google, contre 50% à l’automne de l’année dernière. Gemini Enterprise, l’offre entreprise de Google, a progressé de 40% d’un trimestre sur l’autre en utilisateurs actifs mensuels payants. L’entreprise s’attend à investir légèrement plus de la moitié de son budget de calcul pour l’apprentissage automatique dans des services cloud d’ici 2026 afin de mieux servir les clients cloud et les partenaires. Google étend aussi sa collaboration avec Broadcom pour développer et fournir des puces TPU sur mesure pour les générations futures, alors que de grandes entreprises technologiques recherchent des alternatives aux GPU coûteux et contraints en approvisionnement de NVIDIA et AMD.