
Hugging Face 發布 LeRobot v0.6.0:閉合機器人學習迴圈
Hugging Face 宣布推出 LeRobot v0.6.0,這個開源機器人學習框架迎來了自成立以来最大規模的更新。新版本圍繞「想像、評估、改進」三個核心方向,引入了能夠預測未來的世界模型策略、統一的獎勵模型接口,以及六個全新的仿真基準測試。
世界模型策略:讓機器人學會想像未來
v0.6.0 最引人注目的更新是三種世界模型策略,每種策略都在訓練過程中學習預測未來,但採用不同的技術路徑來控制推算成本。
VLA-JEPA 搭載基於 Qwen3-VL-2B 的緊湊視覺語言行動模型,在訓練期間利用 JEPA 世界模型預測即將到來的畫面。推論時世界模型會被移除,因此不會增加額外推算開支。該模型已提供三個預訓練檢查點,包括一個基於 DROID 預訓練的基礎版本。
LingBot-VA 則進一步採用自迴歸視頻動作模型,逐塊預測未來視頻與動作,並將真實觀測結果回饋以保持預測的準確性。研究人員甚至可以儲存機器人的預測畫面,與實際結果對比分析。推論僅需單張 24 至 32GB 的 GPU。
FastWAM 則探討了一個根本問題:世界動作模型是否真的需要在推論時進行未來想像。該模型將約 50 億參數的視頻生成專家與緊湊的動作專家結合在同一網絡中,訓練時讓模型自行構建滾動情境,推論時則直接跳過想像步驟,僅對動作塊進行去噪處理。
視覺語言行動模型生態持續擴大
除了世界模型之外,LeRobot 的 VLA 模型庫也獲得了大量新增成員。NVIDIA 的 GR00T 升級至 N1.7 版本,換上了基於 Qwen3-VL 的 Cosmos-Reason2-2B 視覺語言模型,搭配流匹配動作頭,與 NVIDIA 原始 Isaac-GR00T 實現經過同等測試驗證。
Allen AI 的 MolmoAct2 正式移植到 LeRobot 中,涵蓋完整的微調、評估與實體機器人部署流程。預訓練檢查點支持在 SO-100/101 上進行零樣本部署,推論僅需約 12GB 顯存。此外還有基於 Qwen2.5-VL-3B 的 EO-1、約 4.5 億參數的 Multitask DiT,以及僅 7.7 億參數的 EVO1,這些輕量級模型讓研究人員能夠在較低配置的 GPU 上進行實時推論。
獎勵模型:判斷機器人是否成功
機器人學習中一個長期缺失的環節是成功偵測與進度估算。v0.6.0 引入了統一的獎勵模型接口,其中最突出的是 Robometer 與 TOPReward。
Robometer 是一個預訓練的通用獎勵模型,基於 Qwen3-VL-4B 構建,使用超過一百萬條機器人軌跡數據進行訓練。研究人員只需將其指向任何 LeRobot 數據集,即可從原始視頻與語言指令中評估任務進度與成功率,無需針對特定任務進行額外訓練。
TOPReward 更是進一步實現了完全零樣本運作,直接利用現成的視覺語言模型讀取「True」標記的對數概率,將任何具備能力的 VLM 轉化為獎勵函數。
數據與訓練基礎設施升級
在數據層面,LeRobot 獲得了深度感測支持,可配合 Intel RealSense 攝影機端到端記錄深度地圖,壓縮為 12 位深度視頻流。語言標註管線利用 VLM 自動為數據集添加帶時間戳的子任務描述、計劃與記憶標註。視頻數據載入速度提升最多達兩倍,多攝影機畫面可並行解碼。
訓練方面新增了 FSDP(完全分片數據並行)支持,讓研究人員能夠跨多張 GPU 訓練超過單張 GPU 容量的基礎模型。雲端訓練方面,使用者只需添加一個標記即可將相同的訓練命令提交到 Hugging Face Jobs 平台,從 T4 到 8 張 H200 均可選擇。
六個全新仿真基準測試
評估是機器人研究的重要環節。v0.6.0 新增了六個仿真基準測試,全部統一在 lerobot-eval 指令下運行。LIBERO-plus 以約一萬個擾動變體壓力測試 VLA;RoboTwin 2.0 涵蓋 50 個雙手操作任務;RoboCasa365 在 2,500 個程序化生成廚房中提供 365 個廚房任務;RoboCerebra 評估長期行為能力;RoboMME 專注記憶力測試;VLABench 則檢驗操作中的知識與推理能力。
部署方面,全新的 lerobot-rollout 指令將部署從錄製工具中獨立出來,其中 DAgger 策略讓研究人員觀察策略運行,在出錯時即時接管糾正,將每一次糾正轉化為下一輪微調的訓練數據,形成完整的機器人學習循環。
LeRobot v0.6.0 可透過 Hugging Face Blog 獲取更多詳情。
