Nous Research は、512K のコンテキスト向けに B200 で 17倍の高速化を実現した Lighthouse Attention をオープンソース公開します

Beating によると、Nous Research は、長い文脈の学習メカニズムである Lighthouse Attention をオープンソース化しており、単一の B200 GPU で 512K 長のテキスト処理を行う際に 17 倍の高速化を達成し、さらに 98K 長ではエンドツーエンドの学習を 1.4〜1.7 倍加速します。この手法は粗密（coarse-to-fine）のアプローチを用います。まず、異なるレベルで圧縮された要約を走査して主要なセグメントを特定し、その後、フィルタしたテキストを FlashAttention に渡して処理します。500億トークンで学習した 51.2万パラメータのモデルでのテストでは、このアプローチは学習時間を短縮しただけでなく、完全に注意（attention）ベースの学習におけるベースライン性能と同等、またはそれを上回りました。