Nous Research open-source Lighthouse Attention avec un gain de vitesse de 17x sur B200 pour un contexte de 512K

D’après Beating, Nous Research a open-sourcé Lighthouse Attention, un mécanisme d’entraînement sur long contexte qui permet d’obtenir un accélération de 17x pour le traitement de texte de 512K caractères sur un seul GPU B200, et une accélération d’entraînement de bout en bout de 1,4–1,7x pour une longueur de 98K. La technique utilise une approche grossière à fine : elle commence par analyser des résumés compressés à différents niveaux pour identifier les segments essentiels, puis transmet le texte filtré à FlashAttention pour le traitement. Lors de tests sur un modèle de 5,3 milliards de paramètres entraîné sur 50 milliards de tokens, l’approche a non seulement réduit le temps d’entraînement, mais a aussi égalé ou dépassé la performance de référence d’un entraînement reposant entièrement sur l’attention.

Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'avertissement.
Commentaire
0/400
Aucun commentaire