演讲主题

面向具身智能的“渲训推一体化”开源强化学习训练框架RLinf

强化学习（RL）在推动通用具身智能发展方面展现出巨大潜力。然而，由于RL工作流固有的异构性和动态性，现有系统普遍面临场景支持有限、硬件利用率低、训练速度慢的挑战。本次演讲将系统介绍我们开发的高性能RL训练框架RLinf。该框架基于创新的“宏微流转换”（M2Flow）系统设计范式，不仅提供简单易用的训练流程构建接口，还实现了高度灵活的训练组件调度能力。RLinf对具身智能场景提供了全面支持，覆盖从具身模型（如pi0、pi0.5、OpenVLA）到多种仿真环境（如ManiSkill、LIBERO、RoboTwin），并包含真机强化学习的支持。在具身任务中实现120%的系统加速与40%-60%的模型性能提升，有效助力智能体高效训练与快速迭代。