METR研究拆解：AI「任務時長」每7個月翻倍　o3可獨立完成110分鐘任務　外推指向2029年中出現月級AI

AI評測機構METR（Model Evaluation & Threat Research）發表研究《Measuring AI Ability to Complete Long Software Tasks》，提出一種跨基準可比較的新指標：「50%任務完成時長」（50%-task-completion time horizon），即AI模型能以五成成功率完成的任務，人類通常需要多久完成。研究發現，前沿AI模型的「任務時長」自2019年起每約207天（約7個月）翻倍一次，外推指向2029年中前後出現可完成一個月工作量的AI系統。

為何要新指標：基準分數無法互相比較

論文指出，現有基準存在三大限制：任務多屬人工而非經濟上有價值的工作；任務常針對當時模型弱項而對抗式篩選，偏差向人類表現；單一基準很快飽和，缺乏通用、直觀且量化的方式跨基準比較，令GPT-2同代模型與Claude 3.7級別模型之間難以有意義對照。「任務完成時長」指標以「人類完成同長度任務需時」作為統一尺規，正為彌補此缺口而設。

方法：170項任務、800次人類基線、12個前沿模型

研究採用三套任務：HCAST子集97項軟件任務（1分鐘至30小時）、RE-Bench 7項機器學習研究工程任務（全部8小時），以及METR自行編寫的SWAA（Software Atomic Actions）66項短任務（1秒至30秒）。研究者聘請具相關專業的人類「基線員」完成大部分任務並記錄耗時：累計超過800次基線、2,529小時，148項任務有人類基線。基線員平均約5年相關經驗，多數就讀全球前100大學。模型方面，評測了2019至2025年間12個前沿模型，用邏輯回歸擬合「模型有五成機率成功的任務長度」。

結果：o3達110分鐘　80%成功率時長短4至6倍

結果顯示，GPT-2的50%時長僅約2秒，o3達約110分鐘，並能成功完成數項超過4小時的任務；o3更顯著高於長期趨勢（p=0.006）。以80%成功率計算時長，翻倍週期約204天、與50%時長相若，但時長本身短4至6倍，意味即使是偶爾成功處理困難多樣任務的模型，仍無法穩定勝任中等長度任務。作者亦提醒，各模型的絕對數值誤差棒很寬，但誤差在模型間高度相關，故對趨勢斜率的信心高於對單一模型數值的信心。

推動因素：更可靠、更會從錯誤中學習

透過檢視63次隨機抽樣的失敗agent軌跡（GPT-4 1106共31次、o1共32次），研究發現模型在工具使用上有長足進步，從錯誤中調整的能力顯著增強（重複失敗動作的案例由GPT-4的12次降至o1的2次），邏輯推理與代碼生成部分亦大幅改善。惟模型在「更凌亂」的環境中仍吃力：反饋迴路不清或需要主動搜尋資訊的場景表現明顯較弱。

外部效度：三項補充實驗未見放緩

外部效度方面，研究做了三項補充實驗：在SWE-bench Verified上複製方法，指數趨勢依然成立且翻倍更快；以16項「凌亂度」因素評分，控制任務長度後模型在高凌亂度任務表現較差，但高低凌亂度子集的時間趨勢相近，沒有證據顯示高凌亂度任務出現平台期；在一組未受污染的內部Pull Request任務上測試，AI表現與「外包人員完成時間」一致（外包修問題比維護者慢5至18倍），但比按維護者時間預測的差。不過作者承認，未排除在自動化軟件工程師整體工作分佈上趨勢明顯變慢的可能。

外推：1個月時長AI約2029年中

研究以「1個月（約167個工作小時）」作為關鍵門檻，理由有二：Ngo指出達成1個月水平的系統必然在撰寫大型軟件、創辦初創、作出科學發現等經濟上有價值的活動上超越多數知識工作者；1個月亦是新員工大致完成入職並開始產生價值的時期，代表AI有望像人類員工般獲取大量上下文完成高上下文任務。簡單外推的中心估值為2029年中（80%信賴區間闊約2年，介乎2028年中至2031年中）；若進步跟隨2024至2025年更快的趨勢，半數機率出現在2027年，更早可達2026年底。作者強調，任務分佈效度與未來趨勢變化均會影響外推，並無法排除單月時長系統即使只有五成可靠性亦可能對社會帶來變革性影響、包括災難性危害的可能。

資料來源：Kwa et al., Measuring AI Ability to Complete Long Software Tasks, arXiv:2503.14499v4（METR）