Real-SWE 基準實測：AI 在真實企業代碼庫只能完成四成任務，與公開榜分數相差多遠？
Specific Labs 於 9 月發佈 Real-SWE 基準，評估前沿 AI 模型在「獲授權的真實企業生產代碼庫」上的表現。結果顯示，成績最好的 Claude Fable 5.1 配 Claude Code 也只解決 38.8% 的任務，與模型在公開基準上動輒八九成的成績形成強烈對比。團隊指出，真實企業代碼的複雜度、公司內部規範與業務後果，是公開基準無法模擬的難度來源。
- Real-SWE 由 Specific Labs 發佈，任務全部來自獲授權的真實企業生產代碼庫，而非專家出題或合成任務
- 榜首 Claude Fable 5.1（Claude Code）解決率 38.8%，第二名 GPT-6 Astra（Codex CLI）33.8%
- 評估以模型加工具鏈（harness）組合為單位，每個任務獨立運行八次取平均，即 pass@1
- 三大難度來源：私有代碼在網上找不到答案、改動有業務後果（計費、稅務、客戶遷移）、每家公司有自己的編寫方式與慣例
Real-SWE 要解決甚麼問題？
現時主流編碼基準（如 SWE-bench 系列）依賴公開 GitHub 儲存庫的 issue，題目或經專家設計，或屬合成任務。問題在於：這些任務不是真實公司工程師每日要做的工作。Real-SWE 的任務直接取自企業的私人生產代碼庫，由團隊向公司取得授權，保留原有業務語境。團隊指任務設計與 DeepSWE、Terminal Bench 等基準相若，提示刻意保持輕度欠規格（underspecified），貼近工程師實際收到的需求描述。
完整排行榜（解決率 = pass@1，八次獨立運行平均）
| # | 模型 | 工具鏈（Harness） | 解決率 |
|---|---|---|---|
| 1 | Claude Fable 5.1 | Claude Code | 38.8% |
| 2 | GPT-6 Astra | Codex CLI | 33.8% |
| 3 | Gemini 3.8 Flash | Gemini CLI | 31.2% |
| 4 | GLM-5.3 | Claude Code | 28.8% |
| =5 | Grok 4.6 | Grok Build | 23.8% |
| =5 | Muse Spark 1.3 | Muse Code | 23.8% |
| 7 | Kimi K3 | Kimi Code | 18.8% |
| 8 | GPT-5.6 Sol | Codex CLI | 16.2% |
團隊採用原生工具鏈評估「模型加 harness」組合而非孤立模型，理由是企業工程師實際使用時兩者綁定；報告同時提供 95% 信賴區間。榜首與包尾相差 22.6 個百分點，差距明顯但無一過半，反映真實企業代碼對全部前沿模型都是難關。
為何真實代碼庫困難得多？
團隊總結三個公開基準沒有的難度維度。第一，私有系統：代理要導航的代碼與解法在網上找不到，無法依靠記憶或搜尋。第二，業務後果：任務涉及計費要準確、稅務要計對、客戶要安全遷移，改動跨越多個服務，出錯有實際代價。第三，公司慣例：每家公司有自己的規則與編寫方式，代理要理解這些約定才可以正確修改。總結而言，基準要問的是「編碼代理能否在現實世界承擔一個軟件工程師的工作」，而不是「能否解開一道精心設計的題目」。
對選擇模型的實際啟示
對企業團隊而言，Real-SWE 提供的視角是：公開基準分數只能做初篩，真實採購決策應以自己代碼庫的試用為準；工具鏈選擇與模型同樣重要，GLM-5.3 配 Claude Code 得到 28.8%，說明 harness 適配度直接影響表現。對照公開榜常見的八成以上分數，真實環境的期望值應下調至四成或以下，並以人類工程師覆核作為必要流程。
常見問題
Real-SWE 與 SWE-bench 有何分別？
SWE-bench 使用公開 GitHub 儲存庫的 issue；Real-SWE 的任務來自私人生產代碼庫，含業務語境與公司內部規範，答案無法在網上找到。
解決率如何計算？
解決率等於 pass@1，每個任務獨立運行八次取平均，報告附 95% 信賴區間。
為何要連工具鏈一起評估？
企業實際使用「模型加 harness」組合，兩者綁定使用；分開評估孤立的模型分數無法反映實際表現。
