新聞AI時代

DiffuSpace 開源 Clover 35B 擴散語言模型 Agent 評測全列最高 GB300 跑出 680 tokens/s

擴散語言模型團隊 DiffuSpace 開源首個模型 Clover-35B-A3B-Preview:總參數 35B、每 token 激活約 3B 的混合專家(MoE)架構,採塊擴散(block diffusion)方式生成,支援 128K 上下文與思考模式,以 Apache 2.0 授權在 Hugging Face 與 GitHub 發布。團隊表示,Clover 在發布時的開源擴散語言模型中取得最先進成績,六項 Agent 評測全部為所列模型最高分。

重點一覽

  • 基於 Qwen3.6-35B-A3B 的文本 MoE 主幹+塊擴散生成;35B 總參數、約 3B 激活
  • 混合 Gated DeltaNet(GDN)與全注意力架構;塊內雙向注意力;128K 上下文
  • Agent 評測六項全列最高:SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3
  • 通用評測:GPQA Diamond 83.8、ZebraLogic 95.8、AA-LCR 72.0、MMLU-Pro 84.8
  • 速度:單張 GB300 BF16 實測 680 tokens/s;H200 Agent 任務 515 tokens/s
  • 端側:RTX 5070 Ti(16GB 顯存)INT4 量化部署,MATH-500 生成 101.8 tokens/s
  • 支援 Transformers 5.19、SGLang 與 llama.cpp 推理;Apache 2.0 開源

來自 Dream 7B 班底的規模化答卷

DiffuSpace 團隊出身於香港大學自然語言處理實驗室(HKU NLP),該實驗室 2025 年 4 月推出 Dream 7B,Dream 系列模型至今在 Hugging Face 錄得超過 270 萬次累計下載。官方網誌指出,Dream 7B 證明了擴散語言模型能與自迴歸模型正面交鋒,Clover 要回答的是更根本的問題:當參數規模擴大,擴散語言模型能否保持競爭力並守住全局生成的速度優勢。Clover-35B-A3B-Preview 的答案正面:在多項基準測試中超過同規模自迴歸模型 Qwen3.6-35B-A3B,同時生成速度顯著更快。架構上,模型以混合 Gated DeltaNet(GDN)與全注意力的 MoE 為主幹,塊內採用雙向注意力,新增的可學習 GDN 參數支援塊擴散,同時保留因果前綴;上下文連提示與回覆合計最高 131,072 個 token。

Agent 場景的速度優勢

在對比的六項 Agent 評測中,Clover 均取得所列模型的最高分,當中 SWE-bench Verified 達 73.6、Terminal-Bench 2.1 達 51.7、τ³ Overall 達 65.3,成績超越同為擴散語言模型的 LLaDA2.2 flash 與 Mercury 2.5,以及同尺寸自迴歸模型 Qwen3.6-35B-A3B 與 Qwen3.5-35B-A3B;對比 MiniCPM-V 4.7(35B-A3B)等輕量高效模型,九項評測中六項最高,Terminal-Bench 2.1 與 SWE-bench Verified 分別高出 15.7 和 28.0 分。推理效率方面,單張 NVIDIA GB300 GPU 以 BF16 精度、batch size 1 在內部 Agent 場景數據中錄得 680 tokens/s 的整體生成速度;單張 H200 在 Agent 任務中達 515 tokens/s,高於 DFlash2 加速方案的 365 tokens/s。團隊解釋,Agent 任務需要在決策、執行、反饋與調整之間持續循環,每一次生成延遲都會沿任務鏈路累積,更快的生成速度直接縮短這條反饋迴路。

端側部署與推理生態

端側方面,Clover 已成功在僅配 16GB 顯存的 NVIDIA RTX 5070 Ti 上完成 INT4 量化部署,MATH-500 生成速度達 101.8 tokens/s,顯著高於同規模對照模型的 48.5 tokens/s。推理生態上,模型支援 Hugging Face Transformers 5.19.0(塊擴散去噪)、SGLang(塊擴散去噪與自投機解碼)及 llama.cpp(自投機解碼)三種後端;BF16 權重約 69GB,單張具備足夠顯存的 GPU 即可執行。架構層面,團隊重新設計了雙向門控 Delta 網絡:已生成上下文經 GDN 遞歸狀態高效壓縮,當前塊內 token 則以雙向 Softmax 注意力細粒度交互,歷史記憶的讀出更作為獨立信息單元與塊內 token 共同參與信息選擇,配合可學習的塊大小校準與零初始化卷積分支,令結構更貼合塊級並行去噪。模型採 Apache 2.0 授權,權重與代碼已於 Hugging Face、GitHub 及 ModelScope 發布,在線體驗需另行申請。

資料來源:DiffuSpace GitHub/官方發布網誌

(開版為AI生成配圖,只供參考會意)

Eight (TechApple 編輯長)

熱心科技,會編程,尤其喜愛最新AI科技發展的技術宅,矢志為大家送上最新最好的科技內容。