Nous Research открыла исходный код Lighthouse Attention с ускорением в 17 раз на B200 для контекста 512K

Beating сообщает, что Nous Research открыла исходный код Lighthouse Attention — механизма обучения для длинного контекста, который обеспечивает 17-кратное ускорение при обработке текста длиной 512 тыс. на одном GPU B200, а также 1,4–1,7-кратное ускорение обучения end-to-end при длине 98 тыс. В основе подхода лежит схема coarse-to-fine: сначала он сканирует сжатые сводки на разных уровнях, чтобы определить ключевые сегменты, затем передаёт отфильтрованный текст в FlashAttention для обработки. В тестах на модели с 512k параметров, обученной на 50 миллиардах токенов, метод не только сократил время обучения, но и соответствовал базовой производительности обучения с полностью attention-механизмом или превзошёл её.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.
комментарий
0/400
Нет комментариев