Les GPU Nvidia Blackwell coûtent deux fois plus cher, mais le coût d’inférence par token baisse de 35 fois par rapport à Hopper

D’après l’analyse la plus récente du blog de Nvidia, les GPU Blackwell coûtent près du double par heure par rapport à la génération Hopper, tout en affichant des coûts d’inférence par jeton 35 fois plus faibles. En utilisant DeepSeek-R1 comme modèle de test, Blackwell (GB300 NVL72) est loué à 2,65 dollars par GPU et par heure contre 1,41 pour Hopper, mais le débit par GPU passe de 90 à 6 000 tokens par seconde. Ce gain de débit de 65x réduit les coûts par million de tokens de 4,20 dollars à 0,12.

Le chiffre de 0,12 suppose une optimisation logicielle complète, incluant l’inférence en FP4 à faible précision et la prédiction multi-token (MTP). Sans activer MTP, les coûts par million de tokens atteignent environ 2,35 dollars, puis retombent à 0,11 avec elle activée, ce qui met en évidence un impact d’optimisation de 21x rien que grâce à cette fonctionnalité.