ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

AutoGluon 1.5.0 全面解析:Tabular 基础模型组合与 Chronos-2 时序预测的双线升级

AutoGluon 1.5.0 全面解析:Tabular 基础模型组合与 Chronos-2 时序预测的双线升级 AutoGluon 1.5.0 全面解析Tabular 基础模型组合与 Chronos-2 时序预测的双线升级【免费下载链接】autogluonFast and Accurate ML in 3 Lines of Code项目地址: https://gitcode.com/GitHub_Trending/au/autogluonAutoGluon 1.5.0 是自 1.4.0 之后的一次双主线大版本更新在 Tabular 侧引入 RealTabPFN-2/2.5、TabDPT、TabPrep-LightGBM 与 EBM 等新模型重构了 extreme/best/high 三档 preset 组合在 TimeSeries 侧接入新一代时序基础模型 Chronos-2并新增逐条序列集成、多层 Stack 集成与backtest_predictions/backtest_targets回溯接口。读完本文你将掌握 1.5.0 的全部新增模型、preset 配置细节、依赖与迁移注意事项并了解这些能力在仓库源码中的具体实现位置能够直接上手零样本预测、微调与集成实验。版本概览支持范围与依赖基线AutoGluon 1.5.0 由 17 位贡献者提交的 131 个 commit 组成改动集中发生在autogluon.tabular与autogluon.timeseries两个模块见 docs/whats_new/v1.5.0.md。Python 版本支持本版本支持 Python 3.10、3.11、3.12 与 3.13其中 Python 3.13 目前为实验性支持在 Windows 上运行 Python 3.13 时部分功能可能不可用。一个重要的兼容性声明AutoGluon 1.5.0 不支持加载在更早版本上训练出的模型。升级后需要用 1.5.0 重新训练模型这一点在部署存量任务时务必留意。依赖版本基线来自原版发布说明此处整理为速查表依赖版本要求torch2.6,2.10seaborn0.12.0,0.14onnx1.13.0,1.21.0ray2.43.0,2.53transformers4.51.0,4.58lightning2.5.1,2.6psutil5.7.3,7.2.0xgboost2.0,3.2pytabkit1.7.2,1.8tabpfn6.1.0,6.1.1tabicl0.1.4,0.2scikit-learn-intelex2025.0,2025.10此外 1.5.0 在工程层面做了一些清理full_install.sh改用独立 uv、load_pd/save_pd被清理、common 包移除 LICENSE/NOTICE 文件并支持按模块单独安装module-wise installation。Spotlight新一代时序基础模型 Chronos-2Chronos-2 是 AutoGluon 引入的最新一代时序预测基础模型其定位是通用预测universal forecasting原生支持各类动态协变量dynamic covariates、利用批次内多条序列进行跨序列学习cross-learning输出多步分位数预测并且在新数据集上开箱即用的零样本性能很强。在 AutoGluon 中Chronos-2 支持三种使用方式零样本模式zero-shot直接对未见过的时间序列做预测LoRA 微调低秩适配训练更快、显存占用更低是默认的微调方式全量微调full fine-tuning对全部参数做微调通常需要更小的学习率。它无缝集成进标准TimeSeriesPredictor工作流因此可以自然地做回溯测试、与经典模型和深度学习模型对比、以及在集成中与其他模型组合。from autogluon.timeseries import TimeSeriesPredictor predictor TimeSeriesPredictor(...) predictor.fit(train_data, presetschronos2) # zero-shot mode从源码看 Chronos-2 的完整超参数Chronos-2 在仓库中的实现位于 timeseries/src/autogluon/timeseries/models/chronos/chronos2.py核心类是Chronos2Model其 docstring 明确说明该实现封装了chronos-forecasting库且同时支持 GPU 与 CPU推荐 GPU 以获得更快的推理与微调速度。模型类声明了_supports_known_covariates True与_supports_past_covariates True与发布说明中原生支持动态协变量的定位一致。Chronos2Model暴露的完整超参数如下均可通过hyperparameters字典传入参数默认值说明model_pathautogluon/chronos-2Hugging Face 模型名或本地目录batch_size256推理时的批大小deviceNone推理/微调设备None 时优先使用 GPUcross_learningTrue开启批次内多条序列的联合预测开启后结果对batch_size敏感context_lengthNone默认 8192推理上下文长度缩短可加速推理但可能损失精度fine_tuneFalse是否微调fine_tune_modeloralora低秩适配更快更省显存或full全量微调fine_tune_lr1e-5微调学习率全量微调建议降到 1e-6 量级fine_tune_steps1000微调梯度更新步数fine_tune_batch_size32微调批大小fine_tune_context_length2048微调最大上下文长度eval_during_fine_tuneFalse微调期间做验证以挑选最佳 checkpoint可能拖慢微调fine_tune_eval_max_items256验证时随机抽样的序列条数上限fine_tune_lora_configNoneLoRA 配置如{r: 8, lora_alpha: 16}revisionNone模型分支名或 commit hashdisable_known_covariatesFalse即使数据集中有 known covariates 也不使用disable_past_covariatesFalse即使数据集中有 past covariates 也不使用三个 Chronos-2 预设的源码级定义在 timeseries/src/autogluon/timeseries/configs/predictor_presets.py 中可以查到 1.5.0 新增的三个 Chronos-2 预设chronos2使用autogluon/chronos-2skip_model_selectionTrue零样本模式不做模型选择chronos2_small使用autogluon/chronos-2-small同样跳过模型选择chronos2_ensemble同时放入两个模型——autogluon/chronos-2零样本 autogluon/chronos-2-small微调fine_tuneTrue、eval_during_fine_tuneTrue通过name_suffix区分最终由集成机制组合二者。配套的完整入门教程在 docs/tutorials/timeseries/forecasting-chronos.ipynb其中覆盖零样本、微调与集成三个场景的详细代码。测试佐证协变量被 Chronos-2 真实使用仓库中的单元测试 timeseries/tests/unittests/models/chronos/test_chronos2.py 直接验证了仅提供 past covariates 时 Chronos-2 会使用它们test_when_past_only_covariates_provided_then_chronos2_uses_them并断言预测时predict_df被调用。这说明动态协变量支持并非文档宣传而是有测试保障的实现事实。AutoGluon Tabular Extreme1.5 版新组合AutoGluon 1.5 Extreme 在 TabArena51 个数据集上的 Elo 从 1.4 Extreme 的 1675 提升到173660 Elo。按发布说明相较 1.4 Extreme1.5 Extreme 平均训练时间减半、推理速度快 50%、胜率 70%、相对误差降低 2.8%。与 1.4 版根据数据规模切换混合组合的策略不同1.5 版对所有数据集使用单一固定模型组合portfolio。官方给出的 TabArena All51 个数据集对比数据如下来源发布说明AutoGluon 1.5 (extreme, 4h)限定 4 小时训练预算ModelElo ⬆️Improvability (%) ⬇️Train Time (s/1K) ⬇️Predict Time (s/1K) ⬇️AutoGluon 1.5 (extreme, 4h)17363.498289.074.031AutoGluon 1.4 (extreme, 4h)16756.381582.216.116AutoGluon 1.4 (best, 4h)15369.3081735.722.559使用 1.5 Extreme 的三点前提务必注意需要 GPU理想情况下至少 20 GB 显存以保证稳定性性能增益主要出现在训练样本数不超过 10 万的数据集上组合内的 TabDPT、TabICL、TabPFN、Mitra 需要额外安装依赖。# pip install autogluon.tabular[tabarena] # -- Required for TabDPT, TabICL, TabPFN, and Mitra from autogluon.tabular import TabularPredictor predictor TabularPredictor(...).fit(train_data, presetsextreme) # GPU required1.5 版新组合的三个改进点按发布说明1.5 Extreme 的三个显著改进是新增 TabDPT 模型——完全在真实数据上预训练的表格基础模型新增 TabPrep-LightGBM——带自定义预处理逻辑目标均值编码 target mean encoding、特征交叉 feature crossing的 LightGBM为组合新增早停逻辑——在小数据集上提前停止训练缓解过拟合并降低训练时间。此外1.5 Extreme 组合只使用开放且许可宽松permissive的模型适合生产与商业场景。1.5 版 preset 的源码级配置1.5.0 新增的三个 preset 别名是extreme即extreme_v150、best_v150、high_v150其完整定义在 tabular/src/autogluon/tabular/configs/presets_configs.pyextreme_quality_v150别名extreme_v150当前extreme默认指向更新的组合auto_stackTrue、dynamic_stackingauto、num_stack_levels0、time_limit3600超参数组合为zeroshot_2025_12_18_gpu并配置EarlyStoppingCountCallback其 patience 随训练集规模递增[[100,4],[500,8],[2500,15],[10000,40],[100000,100],None]best_quality_v150别名best_v150同样num_stack_levels0超参数组合为CPU版zeroshot_2025_12_18_cpu即不需要 GPUhigh_quality_v150别名high_v150在best_quality_v150基础上追加refit_fullTrue、set_best_to_refit_fullTrue、save_bag_foldsFalse换取更快的推理与更小的磁盘占用。GPU 组合里究竟有什么模型1.5 Extreme 依赖的 GPU 组合定义在 tabular/src/autogluon/tabular/configs/zeroshot/zeroshot_portfolio_gpu_2025_12_18.py。从源码看该组合包含TABDPT多个变体分别配置clip_sigma8/16、feature_reductionsubsample/pca、normalizerquantile-uniform/log1p/standard/robust、permute_classes、temperature0.5/0.7等TABICL、MITRAvary_seed_across_foldsTrue等表格基础模型TABM多个tabm-mini架构变体超参数精确到 dropout、lr、d_embedding、num_emb_n_bins等CATCatBoost、GBMLightGBM含bagging_fraction、extra_trees、cat_smooth、num_leaves等完整调参结果REALTABPFN-V2多个变体配置了preprocessing/scaling如squashing_scaler_default、quantile_uni_coarse、preprocessing/global如svd_quarter_components、inference_config/OUTLIER_REMOVAL_STD、softmax_temperature等 TabPFN 特有参数。这也印证了发布说明中单一固定组合的说法——所有数据集共享这一套经过大规模调参的模型集合靠集成ensemble而不是靠按数据规模切换来保证效果。新增模型详解一RealTabPFN-2 与 RealTabPFN-2.5RealTabPFN-2.5 是当前 TabArena 上单个模型最强的表格基础模型。它基于 TabPFN-2 系列但需要注意两点关键区别许可证差异TabPFN-2 是宽松许可permissive而RealTabPFN-2.5 是非商业许可需要先在 Hugging Face 上认证并接受使用条款才能下载权重。在 AutoGluon 的fit调用中如果指定了 RealTabPFN-2.5用户会被自动提示完成这些步骤在权重下载完成前该模型会被跳过预设集成差异RealTabPFN-2.5目前不包含在任何 AutoGluon 预设中必须手动指定。另外AutoGluon 中已禁用所有 TabPFN 用户遥测telemetry。使用 RealTabPFN-2.5仅限非商业用途# pip install autogluon.tabular[all,tabpfn] from autogluon.tabular import TabularPredictor predictor TabularPredictor(...).fit( train_data, hyperparameters{REALTABPFN-V2.5: [{}]}, ) # GPU required, non-commercial使用 RealTabPFN-2宽松许可# pip install autogluon.tabular[all,tabpfn] from autogluon.tabular import TabularPredictor predictor TabularPredictor(...).fit(train_data, hyperparameters{REALTABPFN-V2: [{}]}) # GPU required迁移建议之前使用TABPFNV2的用户官方强烈建议切换到REALTABPFN-V2以避免最新 TabPFN 版本带来的破坏性变更。RealTabPFN 系列的仓库实现位于 tabular/src/autogluon/tabular/models/tabpfnv2含tabpfnv2_5_model.py、tabpfn3_model.py等权重加载与校验逻辑在_weight_fetch.py。新增模型详解二TabDPTTabDPT 是专为在真实数据上扩展表格基础模型而设计的模型相关论文为《TabDPT: Scaling Tabular Foundation Models on Real Data》采用宽松许可可放心用于商业场景。# pip install autogluon.tabular[all,tabdpt] from autogluon.tabular import TabularPredictor predictor TabularPredictor(...).fit(train_data, hyperparameters{TABDPT: [{}]}) # GPU recommended仓库实现位于 tabular/src/autogluon/tabular/models/tabdpt包含tabdpt_model.py与tabdpt_turbo_model.py两个模型类及独立的权重管理模块。配套测试 tabular/tests/unittests/models/test_tabdpt.py 覆盖了基础拟合与缺失类别保留test_tabdpt_preprocess_preserves_missing_categoricals等预处理边界情况后者验证了缺失值以 -1 编码时不丢失缺失信息且不引入越界值。新增模型详解三TabPrep-LightGBMTabPrep-LightGBM 是一个实验性模型本质是自定义数据预处理管线 LightGBM通过目标均值编码、特征交叉等预处理增强 LightGBM 的性能。发布说明明确指出它是进行中研究工作的快照细节将在后续论文中公布。它目前在 TabArena 最大的 15 个数据集1 万 ~ 10 万训练样本上创下了单模型性能新纪录官方给出的对比数据如下来源发布说明中的 TabArena Medium 表ModelElo ⬆️Imp (%) ⬇️Train Time (s/1K) ⬇️Predict Time (s/1K) ⬇️AutoGluon 1.5 (extreme, 4h)19651.876191.182.207AutoGluon 1.4 (extreme, 4h)18133.016289.533.187AutoGluon 1.4 (best, 4h)17943.122432.354.085TabPrep-LightGBM (tuned ensembled)17873.573256.122.281RealTabPFN-v2.5 (tuned ensembled)16805.818735.5811.736RealMLP (tuned ensembled)16496.1021719.821.675ModernNCA (tuned ensembled)16366.1892526.286.013CatBoost (tuned ensembled)16166.011777.590.25LightGBM (tuned ensembled)15987.77131.562.639按发布说明TabPrep-LightGBM 在 15 个最大数据集上比 RealTabPFN-2.5 高约 100 Elo同时仅用 8 个 CPU 核心拟合速度快 3 倍它已被纳入 AutoGluon 1.5 extreme 组合。使用方式官方建议通过extreme、best_v150、high_v150这三个 preset 间接使用它因为在 preset 之外单独拟合 TabPrep-LightGBM 目前比较繁琐。其实现位于 tabular/src/autogluon/tabular/models/tabprepPrepLGBModel继承自ModelAgnosticPrepMixin与LGBModel即预处理插件 LightGBM的组合结构。在 CPU 组合 tabular/src/autogluon/tabular/configs/zeroshot/zeroshot_portfolio_cpu_2025_12_18.py 中可以看到GBM_PREP的具体配置ag.prep_params指定了ArithmeticFeatureGenerator与CategoricalInteractionFeatureGenerator、OOFTargetEncodingFeatureGenerator的组合这正是发布说明提到的特征交叉与目标均值编码配合passthrough_types限定无效原始类型为category/object。新增模型详解四可解释 Boosting MachineEBM1.5.0 还引入了 EBMExplainable Boosting Machine这是 AutoGluon-Tabular 对可解释模型的补强。实现位于 tabular/src/autogluon/tabular/models/ebm/ebm_model.py底层使用interpret库的ExplainableBoostingClassifier/ExplainableBoostingRegressor支持自动交互检测automatic interaction detection在保持较强精度的同时提供高度可解释性。安装依赖pip install interpretTabular 模块的其他改进新特性清单表格数据的新预处理器PR #5441新模型 LightGBMPrepPR #5490新模型 TabPFN-2.5 与 TabDPTPR #5434新模型 Explainable Boosting MachinePR #4480新增 1.5.0 版本 presetPR #5505。关键修复与体验优化加权集成中预测值为 inf 且权重为 0时的 bug 修复PR #5317TabularPredictor.delete_models默认dry_runFalsePR #5260支持每个折使用不同随机种子vary_seed_across_foldsPR #5267默认输出目录的 base path 变更PR #5285Mitra 增加download_default_weights与 Hugging Face 参数支持PR #5271、#5272Flash Attentionunpad_input兼容性保障PR #5298验证策略选择逻辑重构PR #4585LightGBM CUDA 设备日志与 ray 异常优雅处理PR #5325、#5327TabularDataset新增 Load/SavePR #5357修复模型随机状态PR #5369、RF/XT 并行模式显存估算PR #5467支持在 CPU 上加载 GPU 训练出的模型PR #5403、#5434parallel_local拟合策略的 GPU 优化与调度PR #5388修复 XGBoost 在超参数中配置 eval metric 名时的崩溃PR #5493。TimeSeries 模块的全面升级发布说明给出的总体结论是在点预测与概率预测任务上v1.5 相对 v1.4 的胜率最高可达80%仅 10 分钟时间预算的 v1.5 就能胜过运行 2 小时的 v1.4。核心亮点Chronos-2支持零样本推理以及全量/LoRA 微调详见前文可定制的集成逻辑新增逐条序列集成item-level ensembling、**多层 Stack 集成multi-layer stack ensembles**及其他高级预测组合方法完整指南见 docs/tutorials/timeseries/forecasting-ensembles.md新 preset带来精度与效率的大幅提升易用性改进num_val_windowsauto与refit_every_n_windowsauto可自动确定合适的回溯测试配置新增预测器方法backtest_predictions与backtest_targets便于获取验证预测并在自定义数据上做滚动评估。从源码看新的集成方法1.5.0 的集成代码被系统性重组基础目录为 timeseries/src/autogluon/timeseries/models/ensemble。关键新组件包括LinearStackerEnsemblearray_based/models.py通过梯度优化学习线性组合权重的 Stack 集成。weights_per参数控制权重粒度m每个模型一个权重、mq每个模型-分位组合、mt每个模型-时间步、mtq模型-分位-时间步组合另有lr0.1、max_epochs10000、relative_tolerance1e-7、prune_below权重裁剪阈值低于阈值置零并重新分配、isotonizationsort防止分位交叉、detect_and_ignore_failuresTrue忽略损失大于中位数 10 倍的失败模型PerItemGreedyEnsembleper_item_greedy.py逐条序列做贪心集成选择的实现即item-level ensembling此外还有MedianEnsemble、TabularEnsemble、PerQuantileTabularEnsemble、GreedyEnsemble等基础集成器形成一套以 array-based 为基类的集成家族ArrayBasedTimeSeriesEnsembleModel。从源码看新回溯测试接口backtest_predictions与backtest_targets在 timeseries/src/autogluon/timeseries/predictor.py 中实现。backtest_predictions(dataNone, modelNone, num_val_windowsNone, val_step_sizeNone, use_cacheTrue)的行为要点当dataNone时返回训练期间保存的验证预测提供data时按扩展窗口expanding window策略将数据切成多个窗口生成预测要求序列长度至少为prediction_length (num_val_windows - 1) * val_step_size 1model支持单个名字返回 list或多个名字返回dict默认使用验证分数最高的模型每个窗口对应的真实目标值由backtest_targets提供。新增模型Toto1.5.0 还引入了TotoTime-Series-Optimized Transformer for Observability模型实现位于 timeseries/src/autogluon/timeseries/models/toto。从源码 docstring 看这是一个 1.51 亿参数的 decoder-only 架构在 DataDog 内部可观测性系统超 1T 数据点以及 GIFT-eval、Chronos 预训练、合成时序语料上训练自回归输出参数化分布预测AutoGluon 实现为纯推理inference only不会在用户训练数据上训练或微调必须使用 CUDA GPU关键超参数model_pathDatadog/Toto-Open-Base-1.0、batch_size24、num_samples256、devicecuda、context_length4096、compile_modelTrue用torch.compile加速推理。仓库中还包含更新的 Toto-2 模型目录 timeseries/src/autogluon/timeseries/models/toto2默认权重Datadog/Toto-2.0-22m对应版本说明中Add Toto model之后持续的模型迭代。API 变更与废弃时序旧 preset 移除与初代 Chronos 相关的预设chronos、chronos_large、chronos_base、chronos_small、chronos_mini、chronos_tiny、chronos_ensemble均被移除官方建议改用chronos2、chronos2_small与chronos2_ensemble。修复与工程质量_check_and_prepare_data_frame中将inf替换为NaNPR #5240新增模型注册表并修复 preset 类型PR #5100ITEMID/TIMESTAMP移入 dataset 命名空间PR #5363移除废弃参数与类PR #5354Chronos 代码替换为对chronos-forecasting的依赖PR #5380、#5383修复date_feature与已知协变量冲突时报错的问题PR #5414ray改为autogluon.timeseries的可选依赖PR #5430特征重要性 DataFrame 排序PR #5468、NPTS 模型确定性化PR #5471、基数存入CovariateMetadataPR #5476代码质量方面可训练模型集合构建逻辑重构、prediction cache 移出 trainer、集成训练逻辑与 trainer 解耦、升级到 Python 3.10 类型注解、新增计时工具并修复集成回归器的时限问题。Multimodal 模块本版本 MultimodalAutoMM主要是修复性更新修复 Focal LossPR #5496修复带偶然文本的图片被误判为文档的假阳性问题PR #5469更新 AutoMM 教程PR #5167。文档与 CI澄清tuning_data文档PR #5296修复 CI 并升级 RayPR #5306、修复 notebook 构建失败PR #5348、修复 Docker 构建PR #5402、修复 CodeQL GitHub ActionPR #5367收敛 GitHub Token 权限PR #5351文档模块重排PR #5404、移除 ROADMAP.mdPR #5405、为 Chronos-2 与多层 Stack 集成补充引用PR #5412修复 torch2.10 环境下的 CI 问题PR #5435。升级迁移速查升级到 1.5.0 前请核对以下四项旧模型不可加载用 1.4 及更早版本训练出的模型无法在 1.5.0 加载需重新训练TabPFN 命名变更TABPFNV2→REALTABPFN-V2宽松许可或REALTABPFN-V2.5非商业许可需 Hugging Face 认证时序预设迁移chronos*系列预设全部移除改用chronos2/chronos2_small/chronos2_ensemblePython 版本Python 3.13 为实验性支持Windows 上部分功能可能不可用。总结AutoGluon 1.5.0 的核心变化可以概括为两条主线、一批新模型、一次预设重构TimeSeries 侧以 Chronos-2 为旗舰打通了零样本预测、微调与高级集成的全链路并以backtest_predictions/backtest_targets补齐了验证与回测体验Tabular 侧则以 RealTabPFN-2/2.5、TabDPT、TabPrep-LightGBM、EBM 四类新模型和extreme/best_v150/high_v150三档 preset 重新定义了 CPU/GPU 两条组合路线。如果你需要更细的配置细节建议直接阅读仓库中的 presets_configs.py、GPU/CPU 组合配置文件以及 chronos2.py 的完整超参数说明配合两个模块的单元测试可以快速验证行为预期。【免费下载链接】autogluonFast and Accurate ML in 3 Lines of Code项目地址: https://gitcode.com/GitHub_Trending/au/autogluon创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表