Tether AI выпускает TurboQuant с открытым исходным кодом, интегрирует его в QVAC SDK 0.12.0 с 5-кратным сжатием KV Cache

Tether AI недавно выпустила с открытым исходным кодом TurboQuant и интегрировала его в QVAC SDK 0.12.0. На основе алгоритма сжатия памяти для кэшей из Google Research технология сжимает KV-кэши больших языковых моделей до 5 раз, снижая потребление памяти на локальных и периферийных устройствах при сохранении качества выходных данных.
Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев