Tether AI 發布開源 TurboQuant,並整合至 QVAC SDK 0.12.0,KV 快取壓縮提升 5 倍

Tether AI 最近發布開源 TurboQuant,並將其整合到 QVAC SDK 0.12.0。基於 Google Research 的記憶體壓縮演算法,該技術可將大型語言模型的 KV 快取壓縮至多 5 倍,在維持輸出品質的同時,降低本地與邊緣裝置的記憶體消耗。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆