Nous Research Merilis Lighthouse Open-Source dengan Percepatan 17x di B200 untuk Konteks 512K

Menurut Beating, Nous Research telah merilis open-source Lighthouse Attention, sebuah mekanisme pelatihan long-context yang mencapai percepatan 17x untuk pemrosesan teks sepanjang 512K pada satu GPU B200, serta percepatan pelatihan end-to-end 1,4–1,7x pada panjang 98K. Teknik ini menggunakan pendekatan coarse-to-fine: pertama-tama memindai ringkasan terkompresi pada berbagai tingkat untuk mengidentifikasi segmen inti, lalu meneruskan teks yang telah disaring ke FlashAttention untuk diproses. Dalam pengujian pada model dengan 5,3 miliar parameter yang dilatih pada 50 miliar token, pendekatan ini tidak hanya mengurangi waktu pelatihan, tetapi juga menyamai atau melampaui performa dasar dari pelatihan berbasis full-attention.