D’après Beating, Nous Research a open-sourcé Lighthouse Attention, un mécanisme d’entraînement sur long contexte qui permet d’obtenir un accélération de 17x pour le traitement de texte de 512K caractères sur un seul GPU B200, et une accélération d’entraînement de bout en bout de 1,4–1,7x pour une longueur de 98K. La technique utilise une approche grossière à fine : elle commence par analyser des résumés compressés à différents niveaux pour identifier les segments essentiels, puis transmet le texte filtré à FlashAttention pour le traitement. Lors de tests sur un modèle de 5,3 milliards de paramètres entraîné sur 50 milliards de tokens, l’approche a non seulement réduit le temps d’entraînement, mais a aussi égalé ou dépassé la performance de référence d’un entraînement reposant entièrement sur l’attention.
Related News
OpenAI ajoute la détection des conversations de crise sur ChatGPT, améliorant la capacité d’alerte en cas de violence d’automutilation
Bittensor TAO dépasse 300 $ alors que la demande en crypto liée à l’IA s’accélère
Des experts affirment que les preuves zk donnent un avantage aux DePIN alors que la demande de confiance liée à l’IA augmente