Tether AI объявила о планах интегрировать открытый исходный код TurboQuant в SDK QVAC 0.12.0. TurboQuant изначально был предложен Google Research и способен сжимать память KV Cache, необходимую для работы больших моделей, до 5 раз, что позволяет запускать более длинные контексты, большие документы и длительные диалоги на локальных устройствах. Tether заявила, что эта технология будет применима к ноутбукам, смартфонам, edge-устройствам и децентрализованным AI-сетям, а также станет частью их стратегии продвижения локализованного и децентрализованного AI.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено