Hugging Face transformers 支援 GGUF 格式 可在 Mac 直接載入量化模型
Hugging Face 宣布 transformers 函式庫加入 GGUF 格式支援，開發者可以沿用熟悉的 from_pretrained 介面，直接從 Hub 載入為筆記型電腦記憶體而設的量化模型，並在本機執行推理。首階段集中於 Apple Silicon 平台，並優先支援 Qwen3.5 系列架構。
- transformers 現可直接載入 GGUF 量化模型，用法與一般模型相同。
- 效能藉 llama.cpp 的 ggml 核心提升，在三組測試模型上接近 llama.cpp 表現。
- 首階段只支援 Apple Silicon 的 MPS 路徑，架構限於 Qwen3.5 稠密及 MoE 模型。
- transformers serve 同時提供 OpenAI 相容 API，方便連接各類客戶端。
GGUF 是甚麼
GGUF 由 llama.cpp 團隊開發，是本機推理廣泛使用的模型格式。它把模型權重、分詞器資訊及選用的對話模板包存於單一檔案，並支援不同量化級別，讓用家以精度換取更細的記憶體佔用。例如 Q4_K_M 會混合張數精度，大部分權重採用 4 位元，敏感張量則保留較高精度。官方建議由 Q4_K_M 開始，記憶體充裕時再嘗試 Q5_K_M 或 Q6_K。Hub 上由 Unsloth、LM Studio Community、bartowski 等發布的 GGUF 檔案，累計下載次數已達數百萬。
載入與部署方式
用家只需把 Hub 的 model_id 及檔案名以 gguf_file 參數傳入 from_pretrained，其餘步驟與標準 transformers 流程無異。當權重以封裝形式留在 Metal 上，函式庫會自動載入相容的 ggml/Metal 層核心；若核心無法取得，則退回 sdpa 實作。另可使用 transformers serve 開啟 OpenAI 相容 API，模型以「儲存庫:檔案」格式指定，配合 –reasoning 參數控制思考模式，Jan、Pi 等支援該 API 的客戶端即可直接連接。
效能與限制
Hugging Face 以 llama.cpp 作基準，在配備 M2 Max 晶片、32GB 統一記憶體的 MacBook Pro 上測試三組 GGUF 檔案，涵蓋小型稠密模型、大型稠密模型及混合專家模型，結果顯示 transformers 的表現與 llama.cpp 相當接近。團隊同時優化 generate 迴圈，包括提早移除多餘的注意力遮罩及延後停止檢查，讓中央處理器與顯示核心同步運作，這兩項改動對所有 transformers 模型同樣有效。
目前的界線包括：封裝推理路徑只支援 MPS，含填充的批次處理效能仍有改善空間，架構覆蓋限於 Qwen3.5 稠密及 MoE（包括相容的 Qwen3.8 檢查點）。Hugging Face 重申，追求極致本機推理效率時，llama.cpp 仍是建議引擎，transformers 的價值在於用同一份 GGUF 檔案進行 Python 原型設計、評估、轉換檢查及微調。
資料來源：Hugging Face Blog
