RLinf v0.3来了！从模型生态到真机部署五大能力跃升，无问芯穹与清华大学联合打造

RLinf v0.3来了！从模型生态到真机部署五大能力跃升，无问芯穹与清华大学联合打造

为破解具身智能行业发展瓶颈构建了新一代“进化底座”

当下的具身智能行业，正站在从“数据驱动”迈向“经验驱动”的关键拐点上。机器人不再满足于静态模仿，而是需要在真实世界中持续学习、在线进化。但在现实中，强化学习流程复杂、系统组件异构、资源形态多样以及真实世界在线学习难以规模化等关键问题，成为影响具身智能走进真实世界的行业痛点。

今天，由无问芯穹联合清华大学等共同研发的全球首个面向具身智能持续进化的大规模强化学习基础设施项目 RLinf，正式宣布升级为 RLinf v0.3，为破解具身智能行业发展瓶颈构建了新一代“进化底座”！

RLinf v0.1 和 v0.2 分别完成了强化学习系统抽象与真实世界在线学习基础设施建设。新版RLinf v0.3 进一步升级为面向具身智能持续进化的一站式开发平台，首次完整打通数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测以及真机部署等关键环节，实现从仿真训练到真实机器人在线学习、再到持续迭代优化的统一开发闭环。

由此，RLinf不仅能够高效训练机器人策略，更能够支撑机器人在真实世界中的长期持续进化。

具体来说，RLinf v0.3围绕模型、算法、真机、仿真、系统五个维度，进行了全面升级，系统性地降低具身智能开发门槛，提升训练效率与部署灵活性，覆盖更加丰富的具身智能开源生态。

针对强化学习中“参数难调、结果难复现”的行业痛点，RLinf 始终将训练效果的严格可复现作为核心标准。在此次 v0.3 正式发布前，研发团队已对大量应用示例完成了深度的复现性测试，详见v0.3 Release Notes。

本次发版已与包括百度智能云在内的多家云厂商协同上线。

RLinf v0.3 Release Notes：https://rlinf–1379.org.readthedocs.build/zh-cn/1379/rst_source/resources/release_v0.3.html

快速上手：

https://docs.neogpu.com/posts/rlinf-ppo-vla.html

https://cloud.baidu.com/doc/AIHC/s/fmrenj9u1

Github链接：

https://github.com/RLinf/RLinf

RLinf Tech Report：https://arxiv.org/abs/2509.15965

01 模型生态：新增6款主流具身模型

RLinf v0.3继续扩展模型生态，新增 6 款具身模型支持，涵盖世界模型、VLA 模型及系统级加速：

- 新增 Dexbotic DM0 模型支持，在 LIBERO 上用 PPO 进行在线 RL 微调。

- 新增 DreamZero 模型支持：基于 WAN2.1/2.2 视频生成世界模型微调的 VLA 策略，集成进 SFT 工作流，通过 FSDP2/CUDA Graph 等系统级加速取得近4倍吞吐提升。

- 新增 GR00T-N1.6 / N1.7 模型 RL 微调支持。

- 新增 ABot-M0 模型支持。

- 新增 StarVLA 模型支持（GRPO on LIBERO）。

- 新增 LingBot-VLA 模型支持（RoboTwin 环境 SFT/RL）。

02 算法体系：从模仿学习到真机学习全覆盖

新版在真机 RL、仿真 RL 和人在环学习三个方向均有重要算法新增，表现出SOTA的真机任务成功率。具体：

真机强化学习算法：

- 将 DSRL（Diffusion Steering via Reinforcement Learning）扩展至 Pi0.5 模型。

- 新增 RECAP（基于离线优势估计的策略优化）训练流水线支持。

- 新增 SAC-Flow 算法支持，并扩展到 DOS-W1 等真机场景。

仿真强化学习算法：

- Async PPO：在 v0.2 基础上扩展支持 MLP 等新策略，并新增 async DSRL 配置。

- 新增 D4RL 离线 IQL 训练支持（Antmaze / Kitchen-Adroit / MuJoCo，基于 FSDPStrategy）。

人在环学习：

- 新增 DAgger 在线模仿学习算法支持（LIBERO、ManiSkill、RoboTwin、真机 PnP 多场景）。

- 新增 HG-DAgger（Human-Gated DAgger）真机在线训练支持。

03 真机支持：打通从数据采集到真机部署全链路闭环

新版全面打通数据采集 → SFT → RL → 真机部署的闭环链路，新增 3 种遥操作方式、3 款真机平台、2 款末端执行器，真机实操能力显著增强：

数据采集支持：

- 新增 空间鼠标（Spacemouse） 遥操作数据采集支持。