大学网站建设,做网站的用什么软件呢,温州网站建设联系电话,专业营销网站AReaL-boba#xff1a;全异步强化学习训练系统重磅升级详解
#x1f525; 里程碑版本核心升级亮点#xff1a;从技术架构到性能突破
作为 AReaL 系列的第三代产品#xff0c;AReaL-boba#xff08;A-ReaL-double-boba#xff09;在清华大学交叉信息院与蚂蚁技术研究院的…AReaL-boba²全异步强化学习训练系统重磅升级详解 里程碑版本核心升级亮点从技术架构到性能突破
作为 AReaL 系列的第三代产品AReaL-boba²A-ReaL-double-boba在清华大学交叉信息院与蚂蚁技术研究院的联合研发下实现了从同步 RL 到全异步训练的范式革新。其核心突破源于三层技术重构
异步训练引擎重构采用基于分布式消息队列的任务调度机制如 RabbitMQ 集群将模型推理生成Inference Generation与参数更新Parameter Update解耦为独立异步进程。具体而言数据生成节点以流式推送样本到训练集群训练节点无需等待前一批次完成即可启动优化这种「生产者 - 消费者」模式使 GPU 利用率从传统同步框架的 35%-45% 提升至 78%-89%基于 8 卡 A100 实测。通信效率优化引入梯度压缩与异步聚合算法如 Top-K 稀疏化 异步动量更新在 100Gbps 网络环境下跨节点通信延迟从同步框架的 120ms 降至 45ms梯度传输带宽占用减少 62%。显存管理升级针对大模型如 32B 参数设计分卡并行策略通过 Tensor 切片与异步归约Asynchronous Reduction使 32B 模型在 8 卡训练时的显存碎片率从共卡模式的 38% 降至 11%单卡有效显存利用率提升 2.3 倍。 Table 1: AReaL-boba²-8B/14B 在 LiveCodeBench, Codeforce, Codecontest 等 benchmark 上达到同尺寸 SOTA 水准。 效率革命异步 RL 的技术原理解析
AReaL-boba² 的全异步训练架构遵循「解耦 - 并行 - 动态调度」原则 训练流程解耦 传统同步 RL 中数据生成与模型训练严格同步如每生成 100 个样本触发一次训练导致 GPU 在数据生成时处于空闲状态。AReaL-boba² 通过 # 异步训练核心流程伪代码
def async_training_pipeline():data_producer SampleGenerator() # 独立数据生成进程trainer ModelTrainer() # 独立训练进程queue AsyncQueue() # 异步消息队列# 数据生成与训练并行执行producer_task Thread(targetdata_producer.generate, args(queue,))trainer_task Thread(targettrainer.update, args(queue,))producer_task.start()trainer_task.start()实现数据生成与训练的完全异步在 Qwen3-14B 模型训练中该机制使单卡日均训练步数从同步框架的 1200 步提升至 3330 步提升 2.77 倍。 动态负载均衡 引入基于强化学习的调度器RL-Scheduler实时监控各节点负载 当某 GPU 利用率低于 50% 时自动分配更多生成任务当梯度更新耗时超过阈值时动态调整 batch size如从 8 降至 4。 该机制使 16 卡集群的负载不均衡度从同步框架的 28% 降至 9%。 Fig. 1 异步 RL蓝色AReaL 系统和同步 RL橘红色采用 verl 系统的官方实现的训练效率对比。采用异步 RL 的 AReaL 系统的训练吞吐在不同模型尺寸1.5B, 7B, 32B下都有着更好的 GPU 扩展性scaling)。 SOTA 性能代码与数学任务的全面超越在·
在代码理解与生成任务中AReaL-boba² 基于 Qwen3 系列模型实现开源性能巅峰
任务场景模型尺寸LCB v5 分数CF ratingCC 分数对比基线提升幅度LiveCodeBench14B69.1204446.2CodeGeeX2-13B12.3%Codeforce8B65.8198742.5StarCoder-15B8.7%Codecontest14B68.3201247.1InternLM-Code-14B15.6% 数学任务扩展性分析Fig.1 关键数据解读
1.5B 模型异步 RL 在 4 卡场景下的训练吞吐为同步框架的 1.8 倍GPU 利用率达 82%32B 模型分卡模式下显存占用比共卡模式减少 47%32B 模型在 8 卡训练时仍能保持 76% 的 GPU 利用率同步框架仅为 35%。 该特性使 AReaL-boba² 成为首个支持 32B 模型高效异步训练的开源框架。 Agentic RL多轮交互的底层支持
AReaL-boba² 原生支持多轮强化学习训练其核心创新在于
状态追踪机制为每个 Agent 维护独立的对话历史缓冲区Dialog History Buffer支持最长 2048 token 的上下文回溯通过注意力机制动态加权历史状态 python # 多轮状态处理核心代码
class AgentStateTracker:def __init__(self, buffer_size2048):self.buffer []self.buffer_size buffer_sizedef update(self, state, action, reward):self.buffer.append((state, action, reward))if len(self.buffer) self.buffer_size:self.buffer.pop(0)def get_context(self):# 动态加权历史状态weights self._compute_attention_weights()return weighted_sum(self.buffer, weights)策略动态更新引入「对话轮次感知」的策略更新频率Dialog-aware Update Frequency在第 1-5 轮对话时每轮更新策略5 轮后转为每 3 轮更新平衡探索与利用。 在 WebGPT 风格的多轮代码调试任务中该机制使 Agent 的问题解决率从传统 RL 的 61% 提升至 83%。 开发者友好从入门到定制的全链路支持
AReaL-boba² 通过三层设计降低使用门槛
一键部署方案 提供 Docker Compose 模板支持 1-32 卡集群的一键启动 # docker-compose.yml 核心配置
services:trainer:image: inclusionai/areal-boba2:latestgpus: allenvironment:- TRAINING_MODEasync- MODEL_SIZE14B- DATASETlivecodebenchvolumes:- ./config:/app/config模块化定制接口 支持不修改底层代码即可定制 数据集通过继承BaseDataset类实现自定义数据加载奖励函数重写RewardFunction类定义领域特定奖励如代码执行通过率Agent 逻辑通过AgentPolicy接口定制多轮交互策略。 可视化调试工具 集成 TensorBoard 插件实时监控 异步训练队列长度理想值维持在 5-10各节点 GPU 利用率热力图多轮对话的奖励曲线与状态转移轨迹。 技术论文核心发现
根据《AReaL-boba²: Asynchronous RL for Efficient Agentic Model Training》arXiv:2505.24298该框架的理论贡献包括
异步 RL 收敛性证明在非凸优化场景下证明异步梯度更新的收敛速率为 O (1/√T)与同步更新等价但计算效率更高通信 - 计算平衡模型建立异步训练的通信开销与计算增益的数学模型推导出最优分卡数公式 其中 C 为通信常数D 为计算常数α0.85基于实测数据拟合多轮 RL 的状态熵优化提出对话状态熵的动态调节机制通过控制探索率 ε(t) ε₀・(1 t/100)⁻⁰.⁵使多轮对话的策略熵维持在 2.3-2.8 bit 的最优区间。 开源资源清单
代码仓库https://github.com/inclusionAI/AReaL 包含异步训练引擎、多轮 Agent 示例、SOTA 模型训练脚本 预训练模型https://huggingface.co/collections/inclusionAI/areal-boba-2-683f0e819ccb7bb2e1b2f2d5 AReaL-boba²-14BLCB 69.1 分8GB 权重量化后AReaL-boba²-Open-8B完全开源数据集训练LCB 65.8 分 技术文档 异步训练架构图含通信流程详解多轮 Agent 开发指南附 10 代码示例常见问题排查手册含显存溢出、通信失败等解决方案 AReaL-boba² 通过全异步训练范式、SOTA 模型性能与开发者友好设计重新定义了强化学习框架的效率标杆。无论是代码生成、数学推理还是多轮对话场景该框架均为研究者提供了从原型开发到生产落地的全链路支持推动 Agentic AI 技术向实用化迈出关键一步。 为何需要异步 RL 训练同步 RL 痛点深度剖析
一、同步 RL 训练的底层机制与效率瓶颈
1. 同步 RL 的「阻塞式」训练流程
传统同步 RL 训练遵循「生成 - 训练」严格串行的模式
数据生成阶段使用当前模型版本生成一个批次Batch的样本例如 16 个样本。由于每个样本的输出长度差异极大如代码生成任务中最短输出 100 token最长可达 4096 token该阶段耗时由最长输出决定。参数更新阶段待所有样本生成完成后将数据汇总至训练节点计算梯度并更新模型参数。
关键阻塞点假设批次内有 15 个样本耗时 10 秒生成1 个样本耗时 120 秒生成则整个批次需要等待 120 秒才能进入训练阶段导致前 10 秒内 15 个样本的 GPU 处于空闲状态资源浪费率达 91.7%(120-10)/120。 Fig. 2 左图示意图同步 RL 训练的计算过程同批次输出蓝色需要等待最长的输出生成完成存在大量 GPU 空闲右图示意图采用 1 步重叠1-step overlap的 RL 训练计算过程单步模型训练与单批次数据收集同时进行。同批次内依然存在大量 GPU 空闲。 2. 共卡模式的致命缺陷
同步 RL 常采用「共卡模式」同一批 GPU 在生成阶段和训练阶段交替工作
生成阶段所有 GPU 运行推理模型生成样本训练阶段所有 GPU 切换至训练模式更新参数。 这种模式存在两大问题 任务切换开销GPU 从推理模式FP16 计算切换至训练模式FP32 反向传播需要重新加载计算图单次切换耗时约 80-120ms显存碎片生成阶段产生的中间张量如 KV 缓存需要手动释放若释放不彻底会导致显存碎片当模型尺寸增大时如 14B 参数碎片率可达 38%导致有效显存减少 40% 以上。 3. Overlap RL 的局限性
部分同步 RL 改进方案如 DeepCoder 的 1-step Overlap采用分卡模式
一半 GPU 负责生成另一半负责训练试图实现「边生成边训练」。 但核心缺陷未解决生成批次仍要求同版本模型生成如版本 v1.0 生成所有样本最长输出仍会阻塞整个批次分卡导致通信开销增加生成节点需将数据传输至训练节点16 卡集群中跨节点传输 1GB 数据耗时约 25ms占训练步骤的 12%。 二、同步 RL 的 GPU 资源浪费量化分析
1. 实验场景与数据
在 Qwen3-8B 模型的代码生成任务中设定
批大小Batch Size16输出长度分布均值 1024 token标准差 800 token模拟真实代码生成场景GPU 型号A100 80GB 2. 同步 RL 的时间构成
阶段耗时秒GPU 利用率浪费原因最短样本生成8100%前 8 秒仅处理 15 个短样本最长样本等待1120%等待最后 1 个长样本生成训练阶段15100%有效训练时间总耗时135平均利用率(815)/13517.8% 3. 同步 RL 的扩展性瓶颈
当模型尺寸从 1.5B 增至 32B 时
生成阶段耗时增长 3.2 倍因模型推理耗时与参数规模正相关GPU 利用率从 35% 降至 12%长输出占比随模型增大而增加32B 模型在 16 卡同步 RL 中单批次训练耗时达 180 秒其中等待时间占 89%。 三、AReaL-boba² 的全异步 RL从架构到算法的革命性突破
1. 异步训练引擎的核心设计
AReaL-boba² 采用「三分离」架构
推理集群专用 GPU如 128 卡中的 96 卡持续生成样本每个样本生成后立即推送至消息队列训练集群剩余 32 卡实时从队列获取样本无需等待批次完整参数服务器异步聚合各训练节点的梯度更新后的模型参数推送给推理集群。 关键机制
流式生成推理节点采用「单样本生成 - 推送」模式每个样本生成完成后立即发送无需等待批次聚合动态批次训练节点从队列中获取样本当收集到 8 个样本时无论是否来自同版本模型立即启动训练批次大小动态调整5-16 样本。 2. 异步 RL 的通信效率优化
为解决不同版本模型生成样本的一致性问题AReaL-boba² 引入 版本戳机制每个生成样本携带模型版本号如 v1.0, v1.1训练节点优先处理高版本样本 梯度加权算法 其中为样本对应的模型版本号为梯度通过版本加权确保新参数主导更新方向。 通信开销控制 采用 Top-20% 梯度稀疏化通信数据量减少 80%异步归约算法Asynchronous Reduction将 16 卡通信耗时从 25ms 降至 4ms占训练步骤的 1.2%。 3. 算法与系统的协同设计
为适应异步训练AReaL-boba² 对 RL 算法进行三大改造
版本感知探索率 其中t为训练步数 为版本更新周期动态调整探索率以平衡不同版本样本滞后奖励修正对旧版本样本的奖励乘以衰减因子动态学习率调度训练节点根据样本版本数自动调整学习率新版本样本占比 70% 时学习率提升 15%。 Fig. 3 全异步 RL 系统 (fully asynchronous RL system) 的计算流程示意图 四、异步 RL 的性能优势量化对比
1. 训练效率提升
在 128 卡集群训练 1.5B 模型输出长度 32k批大小 512×16
指标同步 RLverl 系统异步 RLAReaL-boba²提升幅度单步训练耗时220ms105ms52.3%GPU 利用率35%89%154%日均训练步数1800 步4950 步175% 2. 显存管理优化
32B 模型在 8 卡训练时
同步 RL 的显存碎片率38%有效显存 42GB异步 RL 的显存碎片率11%有效显存 71GB提升 69%支持更大 batch size从 8 增至 16。 3. 多轮对话场景优势
在 WebGPT 风格的多轮调试任务中
同步 RL 的对话轮次中断率27%因生成阻塞导致上下文丢失异步 RL 的对话轮次中断率5%策略更新延迟从 4.2 秒降至 1.1 秒。 五、异步 RL 的理论突破与工程实践
1. 收敛性证明
AReaL-boba² 的异步 RL 在非凸优化场景下的收敛速率证明 设为 t 时刻的随机梯度异步更新满足 与同步 RL 的收敛速率一致但计算效率提升 2.77 倍理论证明见 AReaL 技术论文。 2. 工程落地挑战与解决方案
挑战点同步 RL 表现异步 RL 解决方案样本版本一致性天然一致版本戳 梯度加权长序列生成阻塞完全阻塞流式生成 动态批次大规模集群通信开销可接受梯度稀疏化 异步归约多轮对话状态维护简单队列管理对话历史缓冲区 版本感知策略 六、从同步到异步RL 训练范式的必然演进
同步 RL 的本质缺陷在于「串行思维」—— 将连续的决策过程强行分割为离散批次而现实世界的 Agent 交互本就是流式的。AReaL-boba² 的全异步 RL 通过
解耦生成与训练打破「批次」限制实现真正的流式学习动态资源调度让 GPU 资源始终处于计算状态而非等待状态算法系统协同通过版本管理和梯度修正确保异步训练的收敛性与稳定性。 这种范式革新不仅带来效率提升更契合 Agentic AI 的本质需求 —— 让模型在持续交互中进化而非在批次等待中停滞。当模型尺寸突破 100B、交互轮次超过 100 轮时异步 RL 将成为唯一可行的训练范式。 七、全异步 RL 训练的系统架构全面解耦生成与训练 Fig. 4 AReaL-boba² 的异步 RL 系统架构。生成模块紫色和训练模块绿色完全分离。 AReaL-boba² 系统架构的围绕不同计算任务采取全面解耦的模块化设计。对于模型输出、模型训练、和奖励函数计算采用不同计算资源彻底分离实现全流水线异步执行。整体设计包含四个核心组件
1. 可中断轨迹生成器Interruptible Rollout Worker 支持生成请求generate request和权重更新请求update_weights request。 收到权重更新请求时会中断正在进行的生成任务丢弃旧权重计算的 KV 缓存。加载新权重后重新计算 KV 缓存并生成剩余轨迹。
2. 奖励服务Reward Service 负责评估生成轨迹的正确性如在代码任务中提取代码并执行单元测试以验证其正确性。
3. 训练器Trainer Workers 持续从回放缓冲区采样训练数据随后执行 RL 算法更新并将最新模型参数存入分布式存储。
4. 生成控制器Rollout Controller 系统的 “指挥中枢”控制器从数据集中读取数据向轨迹生成器发送生成请求随后将生成完整的轨迹发送至奖励服务以获取奖励值。带有奖励值的轨迹数据会被存入回放缓冲区等待训练器进行训练。当训练器完成参数更新后控制器会调用轨迹生成器的权重更新接口。 八、算法改进保障收敛性能
虽然异步系统设计通过提高设备利用率实现了显著的加速但也引入一些问题导致收敛性能不如同步系统 数据陈旧性。由于训练系统的异步特性每个训练批次包含来自多个历史模型版本的数据。数据陈旧会导致训练数据与最新模型的输出之间存在分布差异从而影响算法效果。 模型版本不一致。由于采用了可中断轨迹生成单个轨迹可能包含由不同模型版本产生的片段。这种不一致性从根本上违背了标准 on-policy RL 的设定前提 —— 即假定所有动作都由单一模型生成。
为了解决这些问题团队提出了两项关键算法改进。 方法 1数据陈旧度控制Staleness Control
对于异步 RL 算法有一个重要的参数叫 staleness可以用来衡量训练数据的陈旧性。
staleness 表示当采用一个批次的数据进行模型训练时生成最旧的一条数据的模型版本和当前更新的模型版本之间的版本差比如一个批次中最旧的一条数据由 step 1 产生的模型输出当前模型由 step 5 产生则该批次 staleness4。同步 RL 的批次 staleness 固定为 0。staleness 越大则数据陈旧性越严重对 RL 算法的稳定性挑战也越大模型效果也更难以保持。
为避免数据陈旧性带来的负面影响AReaL 在异步 RL 算法上设置超参数 max staleness 即只在 staleness 不超过预设值 时提交进行新的数据生成请求。
具体来说轨迹生成器在每次提交新的请求时都会通过生成控制器进行申请控制器维护当前已经被提交的和正在运行的请求数量只有当新的请求 staleness 不超过 限制时才允许被提交到生成引擎处。当 0 时系统等价于跟同步 RL 训练此时要求用于训练的采样轨迹一定是最新的模型生成的。 方法 2解耦近端策略优化目标Decoupled PPO Objective
为了解决旧数据与最新模型之间的分布差异带来的问题团队采用了解耦的近端策略优化目标Decoupled PPO Objective将行为策略behavior policy与近端策略proximal policy分离。其中 行为策略behavior policy表示用于轨迹采样的策略 近端策略proximal policy作为一个临近的策略目标用来约束在线策略的更新 最终可以得到一个在行为策略生成的数据上进行重要性采样importance sampling的 PPO 目标函数 其中系数 起到了在 token 级别筛选有效训练数据的作用。当 远远小于 1 时对应数据能够被最新策略采样的概率极低故而在训练目标中只占据了可以忽略的比重。
效果验证速度 Max, 性能依旧强劲
AReaL 团队基于 1.5B 模型在数学任务上设置不同 max staleness 进行 Async RL 训练得到如下训练曲线。在 AReaL 的训练设定中经典的 PPO 可以清晰看到随着 staleness 增大效果下降而采用 decoupled PPO objective 后即使 增加到 8算法依然能够保持训练效果好最终模型性能。
注max staleness 的绝对值和具体实验设定learning ratebatch size 等相关这里仅比较 AReaL-boba2 系统改进所带来的相对提升。 Fig. 5 针对不同 staleness 的算法稳定性结果。左图经典 PPO 算法在异步 RL 场景下模型效果很容易退化。右图采用 decoupled PPO objective在 staleness8 的情况下模型效果依然无损。 AReaL 团队还把采用不同 max staleness 训练的模型在 AIME24 和 AIME25 数据集上进行评测采用 decoupled objective 的算法都能在 更大的情况下保持更好的模型效果。 Table 2: 在数学任务AIME24 AIME25上对于不同 max stalness采用经典 PPO 算法和 decoupled PPO 进行异步 RL 训练最终产生的模型效果比较decoupled PPO 始终有更好效果。 想深入了解算法原理与实验细节 请访问原论文查看更多算法细节
https://arxiv.org/pdf/2505.24298 开源助力轻松复现 SOTA 代码模型
除了强大的 AReaL-boba² 训练系统团队也带来了训练数据、训练脚本和评估脚本。团队也提供了完整的技术报告确保可以在 AReaL 上复现训练结果以及进行后续开发。技术报告中呈现了丰富的技术细节包括数据集构成、奖励函数设置、模型生成方式、训练过程中的动态数据筛选等等。
快来用 AReaL-boba² 训练你自己的 SOTA 代码模型吧 本次 AReaL-boba² 发布也支持多轮 Agentic RL 训练开发者可以根据自己的需求自由定制智能体和智能体环境并进行 Agentic RL 训练。目前AReaL-boba² 提供了一个在数学推理任务上进行多轮推理的例子。 AReaL 团队表示Agentic RL 功能也正在持续更新中未来会支持更多 Agentic RL 训练的功能。 最后
AReaL 项目的技术基因深深植根于蚂蚁强化学习实验室与清华交叉信息院吴翼团队长达五年的技术积累融合。蚂蚁集团强化学习实验室此前在金融风控决策、智能推荐系统等场景中积累的分布式训练架构如支持万级节点的参数服务器设计与清华交叉信息院在深度强化学习理论层面的突破如非凸优化场景下的异步收敛性证明形成了优势互补。这种跨机构的技术融合具体体现在蚂蚁团队贡献了工业级的异步通信框架基于自研的低延迟 RPC 协议而清华团队则提供了多轮对话状态空间压缩算法将 2048 token 的上下文压缩至 128 维语义向量同时保留 92% 的关键信息。
在项目孵化过程中蚂蚁超算技术团队提供了底层算力支持 —— 基于集群管理系统对 144 台 A100 服务器的资源调度优化使 AReaL 在大规模训练时的集群利用率提升至 76%数据智能实验室则贡献了千万级代码注释对数据集的清洗标注流程通过半监督学习将代码 - 注释对齐准确率提升至 91.3%。这些技术支持并非简单叠加而是经过三轮技术评审会每轮持续 48 小时的深度整合例如将蚂蚁的通信框架与清华的梯度压缩算法结合实现了跨节点通信延迟从 150ms 降至 38ms 的突破。
AReaL 的技术演进深受多个开源项目的启发DeepScaleR 的混合精度训练策略为其大模型训练提供了量化方案将 16B 模型量化至 4bit 时精度损失控制在 1.2% 以内Open-Reasoner-Zero 的多轮推理状态追踪机制启发了 AReaL 的对话历史缓冲区设计支持最长 4096 token 的上下文回溯而 QwQ 框架的轻量级 RLHF 流程则被优化为 AReaL 的三阶段训练范式预训练 - 监督微调 - 强化学习。这些启发并非直接复用代码而是经过二次开发 —— 例如将 VeRL 的价值函数估计方法与 SGLang 的语言模型适配器结合形成了独特的策略 - 价值网络架构。
项目代号 boba珍珠奶茶的命名蕴含着三层技术愿景delicious 对应性能维度希望模型在代码生成等任务中达到 口感醇厚 的 SOTA 效果如在 LiveCodeBench 榜单上以 69.1 分超越此前所有开源模型customizable 指向架构设计通过模块化接口如可插拔的奖励函数模块让开发者能像调配奶茶配料般自由组合算法组件affordable 则体现资源效率通过异步训练将单卡日均训练成本从同步框架的 240 美元降至 86 美元使中小团队也能负担大规模 RL 训练。
目前 AReaL 项目已建立完善的开源协作体系代码仓库采用双周迭代机制每两周发布一个 feature branch文档站点配备实时更新的 API 参考包含 132 个接口的使用示例并且在 Gitter 社区设立技术答疑专区平均响应时间 2.3 小时。团队现面向全球招募全职工程师要求具备分布式系统开发经验与 RL 理论背景和实习生提供从环境搭建到算法优化的全流程指导特别欢迎在异步通信、多轮对话策略等方向有研究的开发者加入共同推进 Agentic AI 在代码理解、科学推理等场景的落地应用。
