尧图网页设计 
AReaL FSDPEngine 实战指南基于 PyTorch FSDP2 的分布式训练引擎配置与集成【免费下载链接】AReaLThe RL Bridge for LLM-based Agent Applications. Made Simple Flexible.项目地址: https://gitcode.com/GitHub_Trending/are/AReaL本文围绕 AReaL 仓库中的 FSDPEngine 专家指南.codex/agents/fsdp-expert.md展开系统讲解这一基于 PyTorch FSDP2 的通用训练引擎如何完成配置、初始化、与 rollout 工作流集成以及权重同步。读完本文你将能够独立完成TrainEngineConfigFSDPParallelStrategy的组合配置理解 FSDP2 分片、TP/DP/CP 并行策略与 CPU offloading 的底层实现并掌握 OOM、权重同步失败等典型问题的排查路径。引擎定位与适用场景FSDPEngine 是 AReaL 的通用训练引擎基于 PyTorch FSDP2 实现面向稠密 Transformer 模型提供分布式训练能力并集成了 TP张量并行、DP数据并行、CP上下文并行三种并行维度与内存优化。其核心优势包括FSDP2 参数分片以 FULL_SHARD 语义实现跨 DP 维度的参数/梯度/优化器状态分片显著降低单卡显存占用TP / DP / CP 并行支持通过ParallelStrategy声明式配置并行维度由parallelize_model()统一编排 TP 与 FSDP2 的应用顺序算法专用子类内置 PPO actor/critic、SFT、Reward Model 等算法子引擎可直接被 RL/SFT 训练器接管CPU offloading 与内存高效加载支持参数卸载到 CPU以及“仅 rank 0 加载权重、分片后广播”的初始化路径。引擎选择经验法则稠密模型选FSDPEngineMoE 模型选ArchonEngine需要流水线并行的超深模型选MegatronEngine。该指南明确边界适用于使用指导配置、集成、性能、排障不覆盖底层实现细节与通用分布式训练理论。配置体系TrainEngineConfig × ParallelStrategy × FSDPEngineConfigFSDPEngine 的配置由三个部分组合而成全部定义在areal/api/cli_args.py与areal/api/alloc_mode.py中组件位置职责TrainEngineConfigareal/api/cli_args.py核心训练配置优化器、精度、checkpoint 格式、权重更新方式、微批规格其中fsdp字段挂载 FSDP 专属设置ParallelStrategy/FSDPParallelStrategyareal/api/alloc_mode.py声明并行维度张量、流水线、数据、上下文、专家并行共 5DFSDP 使用其子类FSDPParallelStrategyFSDPEngineConfigareal/api/cli_args.pyFSDP 专属设置wrap 策略、CPU offloading、内存高效加载、逐层优化器步骤配置方法按三步走用ParallelStrategy声明 TP/DP/CP 等并行维度通过TrainEngineConfig配置训练引擎并在其fsdp字段中填入FSDPEngineConfig设置训练专属选项如 checkpoint 格式、weight_update_mode、优化器精度等。TrainEngineConfig 关键字段TrainEngineConfigareal/api/cli_args.py中与 FSDPEngine 直接相关的主要字段如下默认值均取自源码定义字段默认值说明pathHuggingFace 权重路径或 repo idattn_implflash_attention_2HF transformers 的注意力实现也支持 HF kernels 仓库 ID 格式init_from_scratchFalse随机初始化权重此时不走内存高效加载的广播路径is_criticFalse是否作为 critic/reward 模型logprobs_chunk_size1024计算 logprob 与熵时的序列分块上限mb_specMicroBatchSpec运行时微批规格token 数/批大小等pad_to_maximumFalse微批是否补齐到长度上限可减少显存碎片但变慢disable_dropoutFalse训练期关闭 dropoutgradient_checkpointingFalse开启梯度检查点用时间换显存dtypebfloat16前向/反向计算精度grad_reduce_dtypefloat32梯度规约精度optimizer_dtypefloat32主权重与优化器状态存储精度默认 fp32 与 DeepSpeed ZeRO-3 / Megatron 的精度感知优化器行为对齐。设为bfloat16并搭配optimizer.typeadam_bf16可省显存但需要 Kahan 求和保稳定性目前仅 FSDP 路径生效optimizerNone优化器配置None表示纯推理不训练weight_update_modexccl权重更新后端可选disk/xccl/awexawex要求 Megatron actor SGLang rolloutFSDP 路径不使用fsdpFSDPEngineConfig()挂载 FSDP 专属配置FSDPEngineConfig 全参数说明FSDPEngineConfigareal/api/cli_args.py是 FSDP 调优的主要入口字段默认值作用与源码行为wrap_policyNoneFSDP 包装策略。None时默认包装 transformers 定义的 decoder 层FSDPWrapPolicyareal/api/cli_args.py可通过transformer_layer_cls_to_wrap指定要包装的层类名列表offload_paramsFalse是否将 FSDP 参数卸载到 CPU。initialize()中据此构造CPUOffloadPolicyareal/engine/fsdp_engine.pymemory_efficient_loadFalse启用内存高效加载权重先在 CPU 上初始化仅 rank 0 加载预训练权重FSDP 分片后通过fsdp2_load_full_state_dict()广播到所有 rank降低大模型初始化峰值显存。注意 VLM 不走 rank 0 广播而是各 rank 独立在 CPU 上加载源码注释明确per_layer_optim_stepFalse逐层流式执行 Adam step优化器状态常驻 CPU按层异步预取到 GPU 上计算替代整模型在 CPU 上跑优化器步骤。要求optimizer.type adam否则initialize()直接抛ValueErrorareal/engine/fsdp_engine.pyoptim_step_prefetch_layers1逐层优化器步骤的预取层数__post_init__校验必须 0shard_vision_across_spFalse按图片在 SP rank 之间切分视觉编码器仅当context_parallel_size 1时生效服务于 VLM 长图文场景ParallelStrategy 与 FSDPParallelStrategyParallelStrategyareal/api/alloc_mode.py是 5D 并行声明tensor_parallel_size、pipeline_parallel_size、data_parallel_size、context_parallel_size、expert_parallel_size及expert_tensor_parallel_size全部默认 1。当expert_parallel_size 1时__post_init__会校验 world size 能否被专家模型并行规模整除。FSDPParallelStrategy是其轻量子类areal/api/alloc_mode.py用于 FSDP 引擎的并行维度描述。一个实际示例见 examples/math/gsm8k_grpo.yaml单节点 8 卡上 actor 使用backend: fsdp:d4p1t1DP4, PP1, TP1rollout 端使用backend: sglang:d4p1t1并设置weight_update_mode: xccl——即 8 卡拆成两组 4 卡一半推理一半训练共置权重通过 NCCL 广播同步。初始化流程engine.initialize() 到底做了什么主入口是FSDPEngine.initialize(addrNone, ft_specfinetune_spec)areal/engine/fsdp_engine.py它一次性完成进程组建群、模型包装、内存优化与权重同步准备。源码中的执行链可以拆成以下几步前置校验断言不支持远程初始化addr必须为None、必须传入FinetuneSpec并校验torch 2.4.0AReaL 仅支持 FSDP2构建设备模型_create_device_model()按config.path加载 HF 模型并行补丁若启用 tree training 且sp_size 1会直接报错当前树训练不支持 SP随后调用apply_monkey_patch()把 attention 的 forward 替换为 Ulysses SP 变体并按需打树注意力补丁patch_fsdp_for_tree_training()LoRA 处理use_lora时调用_apply_peft_wrapper()同时强制走广播加载路径FSDP2 N-D 并行编排构造CPUOffloadPolicy若开启offload_params调用parallelize_model()areal/engine/fsdp_utils/parallel.py统一应用 TP FSDP2 分片内存高效广播若命中memory_efficient_load且是 LLM非 VLM、非从零初始化仅 rank 0 加载预训练权重分片后经fsdp2_load_full_state_dict()areal/engine/fsdp_utils/init.py广播并在日志中打印广播耗时优化器与逐层优化器包装_create_optimizer(ft_spec)创建优化器若开启per_layer_optim_step再套上PerLayerOptimWrapper校验优化器类型必须为adam。这条链路解释了排查指南中“初始化失败 → 检查dp * sp * tp world_size”的依据并行维度校验发生在ParallelHelperareal/engine/fsdp_utils/parallel.py构建 device mesh 阶段。算法子类PPO / SFT / Reward / DPOFSDPEngine派生出一组算法子引擎全部位于 areal/engine/fsdp_engine.py子类位置用途关键方法FSDPPPOActorL2319PPO 强化学习 actorcompute_logp、compute_advantages、ppo_update、sft_train_batch、as_controllerFSDPPPOCriticL2409PPO criticcompute_values、ppo_updateFSDPLMEngineL2441监督微调SFTtrain_lm、evaluate_lmFSDPRWEngineL2472Reward model 偏好建模train_rw、evaluate_rwFSDPDPOEngineL2506DPO 对齐训练train_dpo、evaluate_dpo、compute_logp每个子类都提供as_controller(config, scheduler)类方法供上层调度器把裸引擎包装为可远程调用的训练控制器如 areal/infra/controller/train_controller.py 中的 actor/critic 控制逻辑。典型 PPO 用法是 actor 与 critic 分别采用不同的 offload 策略这正是“PPO RL 场景为 actor/critic 配置不同卸载策略”这一指南条目的落地方式。工作流集成FSDPEngine 可与任意WorkflowLike实现配合常见组合RLVR workflowPPO 子类 areal/workflow/rlvr.py 的强化学习工作流多轮对话areal/workflow/multi_turn.pySFTFSDPLMEngine配合监督数据可直接参考 examples/math/gsm8k_sft.py 与 examples/math/gsm8k_sft.yaml。集成模式四步走从areal.engine.fsdp_engine导入FSDPEngine或算法子类导入目标 workflow 类如areal.workflow.rlvr中的 RLVR workflow用TrainEngineConfig 并行策略实例化引擎以引擎实例、reward 函数和 dataset 参数构造 workflow交由 trainer如 areal/trainer/rl_trainer.py驱动 rollout 与训练循环。权重同步XCCL 与 Disk 双通道训练侧更新权重后需要把新权重推给 rollout 推理引擎。FSDPEngine 提供两条路径areal/engine/fsdp_engine.py / L1746XCCLNCCL_update_weights_from_distributed()通过自定义进程组做低时延广播适合同构 GPU 集群内部还有分桶异步更新_update_bucket_weights_from_distributed_async与按 PP 切分进程组的逻辑_init_per_pp_weight_update_groups是“高性能场景用 NCCL 快速更新”的实现基础Disk-based_update_weights_from_disk()走 HuggingFace 格式保存/加载加同步适合异构集群或需要容错的场景。配置层面对应TrainEngineConfig.weight_update_modeFSDP 路径下有效取值为xccl或diskYAML 示例中的weight_update_mode: xccl即启用前者。常用配置场景指南给出的场景-配置对照表结合源码字段可落地为场景关键设置落地点显存受限高 DP offload_params: truememory_efficient_load: true参数/优化器状态卸载到 CPU初始化只广播一次高性能平衡 TP/DP/CP weight_update_mode: xccl组合并行提吞吐NCCL 广播压低同步开销PPO RLFSDPPPOActor/FSDPPPOCriticactor 与 critic 采用不同 offload 策略算法子类 is_critic区分LoRA 微调use_lora 基座模型 offload 数据并行_apply_peft_wrapper()LoRA 强制走广播加载路径并行策略经验法则源自指南与ParallelHelper的维度校验一致显存优先DP 优于 TP优先开启 CPU offloading性能优先按模型规模与集群拓扑平衡 TP/DP/CP扩展方向大 batch 加 DP宽模型加 TP长序列加 CP。排障指南常见问题速查现象可能原因第一步排查初始化失败并行维度不合法检查dp * sp * tp world_sizemesh 构建阶段校验显存不足OOM单卡显存不够开启offload_params: true调小 batch size 或微批 token 上限性能不佳并行策略不匹配用 profiler 分析重新平衡 TP/DP/CP权重同步失败网络 / NCCL 问题切换到weight_update_mode: disk或检查网络Checkpoint 加载失败格式不匹配 / 文件损坏核对 DCP 与 HF 格式及完整性DCPState封装见 areal/engine/fsdp_utils/checkpoint.py诊断工作流核对配置检查引擎配置与并行维度是否与 GPU 总数匹配检查内存设置确认 offloading 与 memory-efficient loading 的开关状态测试权重更新小步长验证同步机制是否端到端跑通监控性能使用 areal/utils/perf_tracer.py 定位瓶颈引擎的config_perf_tracer/save_perf_tracer方法直接对接。更深层问题可直接读areal/engine/fsdp_engine.py中的 FSDP 包装、通信模式与内存使用实现。实现结构速览指南附带的实现地图与源码一一对应可作为深入阅读的索引并行与分片核心areal/engine/fsdp_utils/parallel.pyParallelHelpermesh 构建与维度校验、apply_non_moe_tp()L219与parallelize_model()L370编排 TP FSDP2areal/engine/fsdp_utils/init.pyapply_fsdp2()L62负责 FSDP2 模块包装含混合精度与 offload 策略fsdp2_load_full_state_dict()负责 rank 0 广播加载areal/models/fsdp/ulysses.pyUlysses 序列并行通信原语与输入准备CP 即通过该 SP 组实现areal/models/tree_attn/树注意力投机解码训练用其中module.py提供patch_fsdp_for_tree_training()完成 FSDP 集成。数值与优化器工具areal/engine/fsdp_utils/grad.pyfsdp2_clip_grad_norm()TP/DP/PP 感知的梯度范数计算areal/engine/fsdp_utils/optimizer.pyAnyPrecisionAdamW支持混合精度与 Kahan 求和对应optimizer_dtype的 bf16 省显存路径areal/engine/fsdp_utils/multi_tensor_apply.pyTransformer Engine / Apex 缺失时的多张量算子兜底实现。模型适配areal/models/parallel_styles.pyTP 集成所用的ReplicateParallel风格声明areal/models/transformers/Ulysses 注意力 monkey patch 与 Qwen3-VL 等视觉语言模型的 TP 补丁懒加载。共享工具areal/engine/core/train_engine.pyaggregate_eval_losses()、compute_total_loss_weight()、reorder_and_pad_outputs()等跨引擎共享训练工具areal/utils/functional/gather_logprobs()、gather_logprobs_entropy()等 TP 感知的概率聚合视觉模型_prepare_mb_list()与_get_model_name_parameters()中对 Qwen-VL、Gemma3 等的特判以及 Qwen3-VL 视觉组件_deepstack_process的 TP 适配补丁。进一步资源主实现areal/engine/fsdp_engine.py引擎主类与全部算法子类配置定义areal/api/cli_args.pyTrainEngineConfig/FSDPEngineConfig/FSDPWrapPolicy与 areal/api/alloc_mode.pyParallelStrategy/FSDPParallelStrategyFSDP 工具集areal/engine/fsdp_utils/checkpoint、梯度裁剪、优化器、并行助手序列并行areal/models/fsdp/ulysses.py可运行示例examples/math/gsm8k_grpo.yamlGRPO FSDP、examples/math/gsm8k_sft.yamlSFT、examples/alignment/hhrlhf_rw.yamlReward Model适用前提提醒FSDP2 路径要求torch 2.4.0awex权重更新模式仅面向 Megatron actor SGLang rolloutFSDP 引擎请使用xccl或disktree training 与sp_size 1目前互斥。【免费下载链接】AReaLThe RL Bridge for LLM-based Agent Applications. Made Simple Flexible.项目地址: https://gitcode.com/GitHub_Trending/are/AReaL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 AReaL FSDPEngine 实战指南：基于 PyTorch FSDP2 的分布式训练引擎配置与集成
AReaL FSDPEngine 实战指南基于 PyTorch FSDP2 的分布式训练引擎配置与集成【免费下载链接】AReaLThe RL Bridge for LLM-based Agent Applications. Made Simple Flexible.项目地址: https://gitcode.com/GitHub_Trending/are/AReaL本文围绕 AReaL 仓库中的 FSDPEngine 专家指南.codex/agents/fsdp-expert.md展开系统讲解这一基于 PyTorch FSDP2 的通用训练引擎如何完成配置、初始化、与 rollout 工作流集成以及权重同步。读完本文你将能够独立完成TrainEngineConfigFSDPParallelStrategy的组合配置理解 FSDP2 分片、TP/DP/CP 并行策略与 CPU offloading 的底层实现并掌握 OOM、权重同步失败等典型问题的排查路径。引擎定位与适用场景FSDPEngine 是 AReaL 的通用训练引擎基于 PyTorch FSDP2 实现面向稠密 Transformer 模型提供分布式训练能力并集成了 TP张量并行、DP数据并行、CP上下文并行三种并行维度与内存优化。其核心优势包括FSDP2 参数分片以 FULL_SHARD 语义实现跨 DP 维度的参数/梯度/优化器状态分片显著降低单卡显存占用TP / DP / CP 并行支持通过ParallelStrategy声明式配置并行维度由parallelize_model()统一编排 TP 与 FSDP2 的应用顺序算法专用子类内置 PPO actor/critic、SFT、Reward Model 等算法子引擎可直接被 RL/SFT 训练器接管CPU offloading 与内存高效加载支持参数卸载到 CPU以及“仅 rank 0 加载权重、分片后广播”的初始化路径。引擎选择经验法则稠密模型选FSDPEngineMoE 模型选ArchonEngine需要流水线并行的超深模型选MegatronEngine。该指南明确边界适用于使用指导配置、集成、性能、排障不覆盖底层实现细节与通用分布式训练理论。配置体系TrainEngineConfig × ParallelStrategy × FSDPEngineConfigFSDPEngine 的配置由三个部分组合而成全部定义在areal/api/cli_args.py与areal/api/alloc_mode.py中组件位置职责TrainEngineConfigareal/api/cli_args.py核心训练配置优化器、精度、checkpoint 格式、权重更新方式、微批规格其中fsdp字段挂载 FSDP 专属设置ParallelStrategy/FSDPParallelStrategyareal/api/alloc_mode.py声明并行维度张量、流水线、数据、上下文、专家并行共 5DFSDP 使用其子类FSDPParallelStrategyFSDPEngineConfigareal/api/cli_args.pyFSDP 专属设置wrap 策略、CPU offloading、内存高效加载、逐层优化器步骤配置方法按三步走用ParallelStrategy声明 TP/DP/CP 等并行维度通过TrainEngineConfig配置训练引擎并在其fsdp字段中填入FSDPEngineConfig设置训练专属选项如 checkpoint 格式、weight_update_mode、优化器精度等。TrainEngineConfig 关键字段TrainEngineConfigareal/api/cli_args.py中与 FSDPEngine 直接相关的主要字段如下默认值均取自源码定义字段默认值说明pathHuggingFace 权重路径或 repo idattn_implflash_attention_2HF transformers 的注意力实现也支持 HF kernels 仓库 ID 格式init_from_scratchFalse随机初始化权重此时不走内存高效加载的广播路径is_criticFalse是否作为 critic/reward 模型logprobs_chunk_size1024计算 logprob 与熵时的序列分块上限mb_specMicroBatchSpec运行时微批规格token 数/批大小等pad_to_maximumFalse微批是否补齐到长度上限可减少显存碎片但变慢disable_dropoutFalse训练期关闭 dropoutgradient_checkpointingFalse开启梯度检查点用时间换显存dtypebfloat16前向/反向计算精度grad_reduce_dtypefloat32梯度规约精度optimizer_dtypefloat32主权重与优化器状态存储精度默认 fp32 与 DeepSpeed ZeRO-3 / Megatron 的精度感知优化器行为对齐。设为bfloat16并搭配optimizer.typeadam_bf16可省显存但需要 Kahan 求和保稳定性目前仅 FSDP 路径生效optimizerNone优化器配置None表示纯推理不训练weight_update_modexccl权重更新后端可选disk/xccl/awexawex要求 Megatron actor SGLang rolloutFSDP 路径不使用fsdpFSDPEngineConfig()挂载 FSDP 专属配置FSDPEngineConfig 全参数说明FSDPEngineConfigareal/api/cli_args.py是 FSDP 调优的主要入口字段默认值作用与源码行为wrap_policyNoneFSDP 包装策略。None时默认包装 transformers 定义的 decoder 层FSDPWrapPolicyareal/api/cli_args.py可通过transformer_layer_cls_to_wrap指定要包装的层类名列表offload_paramsFalse是否将 FSDP 参数卸载到 CPU。initialize()中据此构造CPUOffloadPolicyareal/engine/fsdp_engine.pymemory_efficient_loadFalse启用内存高效加载权重先在 CPU 上初始化仅 rank 0 加载预训练权重FSDP 分片后通过fsdp2_load_full_state_dict()广播到所有 rank降低大模型初始化峰值显存。注意 VLM 不走 rank 0 广播而是各 rank 独立在 CPU 上加载源码注释明确per_layer_optim_stepFalse逐层流式执行 Adam step优化器状态常驻 CPU按层异步预取到 GPU 上计算替代整模型在 CPU 上跑优化器步骤。要求optimizer.type adam否则initialize()直接抛ValueErrorareal/engine/fsdp_engine.pyoptim_step_prefetch_layers1逐层优化器步骤的预取层数__post_init__校验必须 0shard_vision_across_spFalse按图片在 SP rank 之间切分视觉编码器仅当context_parallel_size 1时生效服务于 VLM 长图文场景ParallelStrategy 与 FSDPParallelStrategyParallelStrategyareal/api/alloc_mode.py是 5D 并行声明tensor_parallel_size、pipeline_parallel_size、data_parallel_size、context_parallel_size、expert_parallel_size及expert_tensor_parallel_size全部默认 1。当expert_parallel_size 1时__post_init__会校验 world size 能否被专家模型并行规模整除。FSDPParallelStrategy是其轻量子类areal/api/alloc_mode.py用于 FSDP 引擎的并行维度描述。一个实际示例见 examples/math/gsm8k_grpo.yaml单节点 8 卡上 actor 使用backend: fsdp:d4p1t1DP4, PP1, TP1rollout 端使用backend: sglang:d4p1t1并设置weight_update_mode: xccl——即 8 卡拆成两组 4 卡一半推理一半训练共置权重通过 NCCL 广播同步。初始化流程engine.initialize() 到底做了什么主入口是FSDPEngine.initialize(addrNone, ft_specfinetune_spec)areal/engine/fsdp_engine.py它一次性完成进程组建群、模型包装、内存优化与权重同步准备。源码中的执行链可以拆成以下几步前置校验断言不支持远程初始化addr必须为None、必须传入FinetuneSpec并校验torch 2.4.0AReaL 仅支持 FSDP2构建设备模型_create_device_model()按config.path加载 HF 模型并行补丁若启用 tree training 且sp_size 1会直接报错当前树训练不支持 SP随后调用apply_monkey_patch()把 attention 的 forward 替换为 Ulysses SP 变体并按需打树注意力补丁patch_fsdp_for_tree_training()LoRA 处理use_lora时调用_apply_peft_wrapper()同时强制走广播加载路径FSDP2 N-D 并行编排构造CPUOffloadPolicy若开启offload_params调用parallelize_model()areal/engine/fsdp_utils/parallel.py统一应用 TP FSDP2 分片内存高效广播若命中memory_efficient_load且是 LLM非 VLM、非从零初始化仅 rank 0 加载预训练权重分片后经fsdp2_load_full_state_dict()areal/engine/fsdp_utils/init.py广播并在日志中打印广播耗时优化器与逐层优化器包装_create_optimizer(ft_spec)创建优化器若开启per_layer_optim_step再套上PerLayerOptimWrapper校验优化器类型必须为adam。这条链路解释了排查指南中“初始化失败 → 检查dp * sp * tp world_size”的依据并行维度校验发生在ParallelHelperareal/engine/fsdp_utils/parallel.py构建 device mesh 阶段。算法子类PPO / SFT / Reward / DPOFSDPEngine派生出一组算法子引擎全部位于 areal/engine/fsdp_engine.py子类位置用途关键方法FSDPPPOActorL2319PPO 强化学习 actorcompute_logp、compute_advantages、ppo_update、sft_train_batch、as_controllerFSDPPPOCriticL2409PPO criticcompute_values、ppo_updateFSDPLMEngineL2441监督微调SFTtrain_lm、evaluate_lmFSDPRWEngineL2472Reward model 偏好建模train_rw、evaluate_rwFSDPDPOEngineL2506DPO 对齐训练train_dpo、evaluate_dpo、compute_logp每个子类都提供as_controller(config, scheduler)类方法供上层调度器把裸引擎包装为可远程调用的训练控制器如 areal/infra/controller/train_controller.py 中的 actor/critic 控制逻辑。典型 PPO 用法是 actor 与 critic 分别采用不同的 offload 策略这正是“PPO RL 场景为 actor/critic 配置不同卸载策略”这一指南条目的落地方式。工作流集成FSDPEngine 可与任意WorkflowLike实现配合常见组合RLVR workflowPPO 子类 areal/workflow/rlvr.py 的强化学习工作流多轮对话areal/workflow/multi_turn.pySFTFSDPLMEngine配合监督数据可直接参考 examples/math/gsm8k_sft.py 与 examples/math/gsm8k_sft.yaml。集成模式四步走从areal.engine.fsdp_engine导入FSDPEngine或算法子类导入目标 workflow 类如areal.workflow.rlvr中的 RLVR workflow用TrainEngineConfig 并行策略实例化引擎以引擎实例、reward 函数和 dataset 参数构造 workflow交由 trainer如 areal/trainer/rl_trainer.py驱动 rollout 与训练循环。权重同步XCCL 与 Disk 双通道训练侧更新权重后需要把新权重推给 rollout 推理引擎。FSDPEngine 提供两条路径areal/engine/fsdp_engine.py / L1746XCCLNCCL_update_weights_from_distributed()通过自定义进程组做低时延广播适合同构 GPU 集群内部还有分桶异步更新_update_bucket_weights_from_distributed_async与按 PP 切分进程组的逻辑_init_per_pp_weight_update_groups是“高性能场景用 NCCL 快速更新”的实现基础Disk-based_update_weights_from_disk()走 HuggingFace 格式保存/加载加同步适合异构集群或需要容错的场景。配置层面对应TrainEngineConfig.weight_update_modeFSDP 路径下有效取值为xccl或diskYAML 示例中的weight_update_mode: xccl即启用前者。常用配置场景指南给出的场景-配置对照表结合源码字段可落地为场景关键设置落地点显存受限高 DP offload_params: truememory_efficient_load: true参数/优化器状态卸载到 CPU初始化只广播一次高性能平衡 TP/DP/CP weight_update_mode: xccl组合并行提吞吐NCCL 广播压低同步开销PPO RLFSDPPPOActor/FSDPPPOCriticactor 与 critic 采用不同 offload 策略算法子类 is_critic区分LoRA 微调use_lora 基座模型 offload 数据并行_apply_peft_wrapper()LoRA 强制走广播加载路径并行策略经验法则源自指南与ParallelHelper的维度校验一致显存优先DP 优于 TP优先开启 CPU offloading性能优先按模型规模与集群拓扑平衡 TP/DP/CP扩展方向大 batch 加 DP宽模型加 TP长序列加 CP。排障指南常见问题速查现象可能原因第一步排查初始化失败并行维度不合法检查dp * sp * tp world_sizemesh 构建阶段校验显存不足OOM单卡显存不够开启offload_params: true调小 batch size 或微批 token 上限性能不佳并行策略不匹配用 profiler 分析重新平衡 TP/DP/CP权重同步失败网络 / NCCL 问题切换到weight_update_mode: disk或检查网络Checkpoint 加载失败格式不匹配 / 文件损坏核对 DCP 与 HF 格式及完整性DCPState封装见 areal/engine/fsdp_utils/checkpoint.py诊断工作流核对配置检查引擎配置与并行维度是否与 GPU 总数匹配检查内存设置确认 offloading 与 memory-efficient loading 的开关状态测试权重更新小步长验证同步机制是否端到端跑通监控性能使用 areal/utils/perf_tracer.py 定位瓶颈引擎的config_perf_tracer/save_perf_tracer方法直接对接。更深层问题可直接读areal/engine/fsdp_engine.py中的 FSDP 包装、通信模式与内存使用实现。实现结构速览指南附带的实现地图与源码一一对应可作为深入阅读的索引并行与分片核心areal/engine/fsdp_utils/parallel.pyParallelHelpermesh 构建与维度校验、apply_non_moe_tp()L219与parallelize_model()L370编排 TP FSDP2areal/engine/fsdp_utils/init.pyapply_fsdp2()L62负责 FSDP2 模块包装含混合精度与 offload 策略fsdp2_load_full_state_dict()负责 rank 0 广播加载areal/models/fsdp/ulysses.pyUlysses 序列并行通信原语与输入准备CP 即通过该 SP 组实现areal/models/tree_attn/树注意力投机解码训练用其中module.py提供patch_fsdp_for_tree_training()完成 FSDP 集成。数值与优化器工具areal/engine/fsdp_utils/grad.pyfsdp2_clip_grad_norm()TP/DP/PP 感知的梯度范数计算areal/engine/fsdp_utils/optimizer.pyAnyPrecisionAdamW支持混合精度与 Kahan 求和对应optimizer_dtype的 bf16 省显存路径areal/engine/fsdp_utils/multi_tensor_apply.pyTransformer Engine / Apex 缺失时的多张量算子兜底实现。模型适配areal/models/parallel_styles.pyTP 集成所用的ReplicateParallel风格声明areal/models/transformers/Ulysses 注意力 monkey patch 与 Qwen3-VL 等视觉语言模型的 TP 补丁懒加载。共享工具areal/engine/core/train_engine.pyaggregate_eval_losses()、compute_total_loss_weight()、reorder_and_pad_outputs()等跨引擎共享训练工具areal/utils/functional/gather_logprobs()、gather_logprobs_entropy()等 TP 感知的概率聚合视觉模型_prepare_mb_list()与_get_model_name_parameters()中对 Qwen-VL、Gemma3 等的特判以及 Qwen3-VL 视觉组件_deepstack_process的 TP 适配补丁。进一步资源主实现areal/engine/fsdp_engine.py引擎主类与全部算法子类配置定义areal/api/cli_args.pyTrainEngineConfig/FSDPEngineConfig/FSDPWrapPolicy与 areal/api/alloc_mode.pyParallelStrategy/FSDPParallelStrategyFSDP 工具集areal/engine/fsdp_utils/checkpoint、梯度裁剪、优化器、并行助手序列并行areal/models/fsdp/ulysses.py可运行示例examples/math/gsm8k_grpo.yamlGRPO FSDP、examples/math/gsm8k_sft.yamlSFT、examples/alignment/hhrlhf_rw.yamlReward Model适用前提提醒FSDP2 路径要求torch 2.4.0awex权重更新模式仅面向 Megatron actor SGLang rolloutFSDP 引擎请使用xccl或disktree training 与sp_size 1目前互斥。【免费下载链接】AReaLThe RL Bridge for LLM-based Agent Applications. Made Simple Flexible.项目地址: https://gitcode.com/GitHub_Trending/are/AReaL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考