Google Research TurboQuant 演算法　大型語言模型高效壓縮

Google Research 日前發表一款名為 TurboQuant 的壓縮演算法，能夠大幅降低大型語言模型及向量搜尋引擎的記憶體占用，同時保持模型效能不變。該研究團隊由 Amir Zandieh 及 Vahab Mirrokni 率領，相關技術將於 ICLR 2026 及 AISTATS 2026 會議上正式發表。

向量是人工智能模型理解和處理資訊的基本方式。高維度向量能夠捕捉圖像特徵、詞彙含義或數據集屬性等複雜資訊，然而此類向量同時消耗大量記憶體，導致關鍵值緩存（Key-Value Cache）出現瓶頸問題。關鍵值緩存作為高速「數碼速查表」，儲存常用資訊以便電腦快速提取，但龐大的記憶體需求成為效能提升的主要障礙。

向量量化是一種強大的傳統資料壓縮技術，能有效縮小高維度向量體積。然而，傳統方法本身亦會產生「記憶體開銷」，大多數技術需要為每個小數據區塊計算並儲存完整精度的量化常數，導致每個數值增加額外 1 至 2 個位元，部分抵消了向量量化的優勢。

TurboQuant 採用兩階段壓縮策略，首先透過 PolarQuant 方法對資料向量進行隨機旋轉，簡化數據幾何結構後再應用標準量化器，大幅提升壓縮效率。隨後利用 QJL（Quantized Johnson-Lindenstrauss）演算法，僅用 1 個位元的壓縮容量處理第一階段殘留的微量誤差，充当數學誤差檢查器消除偏差，從而提升注意力分數的準確度。

PolarQuant 以極坐標取代傳統笛卡爾座標系統呈現記憶體向量，類似將「向東走 3 個街區、向北走 4 個街區」轉化為「總共走 5 個街區，角度為 37 度」。由於角度分布模式已知且高度集中，PolarQuant 無需執行昂貴的資料正規化步驟，直接將資料映射至固定、可預測的「圓形」網格，大幅減少記憶體開銷。

研究團隊在 LongBench、Needle In A Haystack、ZeroSCROLLS、RULER 及 L-Eval 等多個標準長上下文基準測試中進行嚴格評估，並使用 Gemma 及 Mistral 等開源大型語言模型進行實驗。結果顯示，TurboQuant 在點積失真及召回率方面均達到最優表現，同時有效減少關鍵值記憶體佔用。

在長上下文「大海撈針」任務測試中，TurboQuant 在所有基準測試中均達到完美的下游結果，同時將關鍵值記憶體大小縮减至少 6 倍。PolarQuant 在該任務中亦接近無損表現。

實驗數據表明，TurboQuant 能夠將關鍵值緩存量化至僅 3 個位元，且無需訓練或微調程序，同時不會影響模型準確度。在 H100 GPU 加速器上，4 位元 TurboQuant 在計算注意力 logits 時，效能提升高達原本的 8 倍。

該技術特別適用於向量搜尋應用場景，能顯著加快索引構建過程。隨著大型語言模型及人工智能應用的持續發展，此類壓縮技術預計將在搜尋及人工智能領域發揮重要作用。

資料來源: https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/