Huawei, USTC et l’Université de Pékin obtiennent une amélioration de vitesse de 58 % sur Ascend A3 pour l’entraînement de modèles MoE

D’après Beating, des chercheurs de Huawei, de l’Université de Science et Technologie de Chine (USTC) et de l’Université de Pékin ont dévoilé HyperParallel-MoE, un cadre de planification de compilation conçu pour les puces Ascend A3. Le framework réduit de 36% la latence dans les modules de calcul d’experts MoE, tout en obtenant un gain global de vitesse de traitement des données de 58% (1,49–1,58x plus rapide) sur des clusters de 256 nœuds exécutant des modèles de type DeepSeek à 671 milliards de paramètres, tandis que la vitesse d’entraînement sur une seule étape s’est améliorée de 8–9%.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire