AReaL 2.0开源:训练推理拆四类服务,异步RL不再互等

流云 2026-10-26 1254 0条评论
摘要: 强化学习训练最费机器的部分,往往不是算梯度,而是让“生成轨迹的智能体”和“算奖励的训练进程”互相等待。7月1日,蚂蚁集团AReaL团队与清华大学开源AReaL 2.0,把训练、推理...

强化学习训练最费机器的部分,往往不是算梯度,而是让“生成轨迹的智能体”和“算奖励的训练进程”互相等待。7月1日,蚂蚁集团AReaL团队与清华大学开源AReaL 2.0,把训练、推理、智能体执行与权重更新拆成四类独立微服务,用全异步流水把这段等待错开。Apache-2.0协议,Python开发,最新v2.1.0于8月25日发布。

四类服务各自扩缩容

2.0把系统重构成训练、推理、智能体执行、权重更新四类独立服务,各自有接口与进程边界。哪一环吃紧就单独扩哪一环,不必为了一次吞吐提升把整个作业按同一比例放大。生成轨迹与参数更新在时间上错开,推理侧边产数据、训练侧边消费,权重更新单独通道回灌。异步带来的版本落差由系统内部处理,使用方按配置文件调并发与步长即可。在AI工具导航的强化学习分类中,这种“按瓶颈扩缩容”的架构,与把训练和推理绑在同一作业里的传统方案形成了明确区隔。

Hermes在线循环与SWE示例

仓库内置Hermes在线训练循环示例,用于让已部署的智能体在真实交互里持续更新。与离线批次训练相比,这条链路更贴近线上分布,代价是对采样质量与奖励函数的要求更高。官方还给出SWE任务的端到端训练示例,从环境准备、轨迹采集到奖励计算串成一条可直接跑的脚本。想做代码智能体强化学习,可以照这套示例改数据与奖励,而不是从空目录搭流程。接口替换即可接入自有智能体:把自建智能体的base_url与api_key指向AReaL的RL服务,不改代码就能把已有agent拉进训练回路。这一条降低了“已有编排层再补训练”的改造成本。

与verl的路线差异

两者都是开源强化学习训练框架,差别在系统怎么切分、异步做到什么程度。AReaL 2.0把四类能力拆成独立服务,适合已经按微服务运维的团队;verl用控制器调度多角色进程,单机起步更轻。在线训练上,AReaL 2.0自带在线循环,verl更多以批次脚本组织。首次开源时间上,verl 2024年10月入场、生态铺得更早,AReaL 2.0到2026年7月才开源。还有一处容易被忽略:2.0是重大重构版本,2.0与1.0接口不兼容,照旧版教程操作会踩空;verl版本线相对连续,历史脚本迁移成本更低。选型前先确认手头教程对应哪个大版本。

场景、成本与入场门槛

这套系统解决的是“模型要在真实交互里变强”的问题:代码智能体训练用真实仓库任务做轨迹采集,按测试通过率给奖励;在线服务迭代把线上交互回流进训练回路;多机集群实验把训练与推理分别扩缩容;同一套服务既跑训练也跑评测,减少环境差异。适用人群:有GPU集群、要自建强化学习流水线的算法团队,以及已有智能体产品、想把线上反馈接回训练的工程团队;只做单卡微调、或没有稳定奖励信号的场合,直接上通用微调脚本更划算。对于关注AI模型库选型的团队,AReaL 2.0的入场成本主要在三处:集群要能同时容纳训练与推理两类负载、奖励函数要写成可自动判定的形式、版本落差要在文档里查得到。

编辑判断

AReaL 2.0的价值不在于“又一个RL框架”,而在于它把异步做成了系统级设计,而不是一个可选项。四类服务拆开、在线循环内置、接口替换即可接入自有智能体——这三项组合在一起,让“训练不等推理”从工程口号变成了可部署的架构。但它不是开箱即用的轻量工具,集群、奖励函数、版本管理都需要投入。强化学习训练正在从“单机脚本”走向“微服务流水线”,AReaL 2.0是这条路线上的一个明确起点。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1532.html发布于 2026-10-26
文章转载或复制请以超链接形式并注明出处三文阁