
colibri 舊機跑數千億 MoE 模型 純 C 無 GPU 亦得
想在手上的電腦運行數千億參數的大模型?開源項目 colibri 的口號是「Tiny engine, immense model」:利用 MoE(混合專家)架構每次只用一小部分參數的特性,把常用部分留在 RAM、其餘專家即場從磁碟讀取,純 C 編寫、零依賴、無須 GPU。項目現有逾 4.4 萬顆星。
PROJECT 特點
- Repo:JustVugg/colibri ★44,619|Apache-2.0|純 C(2026-10-29 API 實測)
- 2026-07-01 建立;README 有繁體中文版
- 原理:MoE 每個 token 只啟動小部分專家,colibri 將其餘存放磁碟按需讀取
- 今日支援 13 個引擎:GLM-5.2/5.3、Kimi K3、DeepSeek V4.1 Flash、Qwen3.8-Flash-Next 等
- 另有 Qwen-Image-2.1 生圖引擎與 Laya 等決策模型引擎
- 官方示範:GLM-5.2 744B MoE int4 串流 CPU,32 秒就緒、常駐僅 9.9 GB
磁碟當顯存用的極簡引擎
colibri 押注的是 MoE 架構的一個數學事實:數千億參數的模型,每生成一個 token 其實只激活其中一小部分專家。引擎把「常駐」部分留在記憶體,被召喚的專家再從磁碟串流讀取,專家權重由磁碟按需讀取,換來的是普通機器也能容納超大模型。官方終端示範相當具說服力:GLM-5.2、744B MoE、int4 量化、純 CPU 串流,32 秒就緒、常駐記憶體僅 9.9 GB。工程取向同樣克制:純 C、每個模型家族一個檔案、無 GPU 要求,官方覆蓋 13 個引擎,語言模型之外還包括生圖與「決策型」小模型。
誰適合用它
colibri 不是要取代擁有足夠顯存時的完整推理方案,而是為「手上有舊機、想本地跑大模型」的場景而生,尤其適合離線環境、隱私敏感任務或純粹想試大模型的愛好者。自然,選模型前可先查官方「Which one for my machine」對照表。這種把工程做回簡的項目能衝上 4.4 萬星,受歡迎程度可見一斑。
來源:GitHub:JustVugg/colibri 官網:justvugg.github.io/colibri
(開版為AI生成配圖,只供參考會意)
