
基礎模型訓練統一單一算法 預訓練與 RL 合流 精度與算力比價同時改善
arXiv 論文(2610.40564)挑戰基礎模型訓練的傳統分段範式:預訓練、中期訓練、監督微調(SFT)與強化學習(RL)的算法分離並非必然。研究把各階段的 RL 目標推導為對模型生成目標分佈的最大似然擬合,將整個訓練生命週期統一在單一基於似然的訓練算法之下,論文由 10 人團隊完成。
重點一覽
- 論文:Training Foundation Models with a Single Algorithm(arXiv 2610.40564,2026-10-29,10 人團隊)
- 現狀:基礎模型訓練分四段(預訓練、中期訓練、SFT、RL),數據與學習算法都不同
- 核心洞見:各階段 RL 目標可寫成對模型生成目標分佈的最大似然擬合
- 統一訓練(unified training):整個生命週期變成「用什麼數據、什麼比例、何時訓練」的問題
- 傳統分段訓練成為統一框架的特例
- 實作:單一訓練器內混合靜態數據與 RL 生成數據;受控與真實實驗均改善精度-算力比與任務覆蓋
四段式訓練並非鐵律
現代基礎模型的訓練手冊是固定的:先預訓練、再中期訓練、然後 SFT、最後 RL,每段換數據換算法。這篇論文證明這套分離可以被數學上統一:只要把各階段的強化學習目標視為對模型生成目標分佈做最大似然擬合,所有階段都落在同一個基於似然的訓練算法裡。訓練生命週期於是退化成一個更本質的問題:選哪些數據、按什麼比例、在什麼時候訓練。
單一訓練器 靜態數據與 RL 混流
團隊把框架實作為統一訓練系統:同一個訓練器內同時混合靜態數據與 RL 生成的數據,毋須在階段之間切換算法。在受控實驗與真實世界實驗中,統一訓練同時改善了精度-算力比價與任務覆蓋範圍。
資料來源:arXiv 2610.40564
(開版為AI生成配圖,只供參考會意)
