TimeOmni-VL: Unified Models for Time Series Understanding and GenerationAuthors:Tong Guan, Sheng Pan, Johan Barthelemy, Zhao Li, Yujun Cai, Cesare Alippi, Ming Jin, Shirui PanDeep-Dive Summary:这是一篇关于TIMEOMNI-VL的学术论文部分的中文摘要该模型是一个旨在统一时间序列理解与生成的视觉中心化框架。TIMEOMNI-VL时间序列理解与生成的统一模型摘要 (Abstract)当前的时间序列建模在数值生成Generation与语义理解Understanding之间存在显著鸿沟研究表明生成模型往往依赖于浅层的模式匹配而以理解为导向的模型在处理高保真数值输出时表现不佳。虽然统一多模态模型UMM在视觉领域已弥补了这一差距但其在时间序列领域的潜力尚未得到开发。我们提出了TIMEOMNI-VL这是首个通过两项关键创新统一时间序列理解与生成的视觉中心化框架保真度保留的时间序列与图像双向映射 (Bi-TSI)改进了时间序列转图像 (TS2I) 和图像转时间序列 (I2TS) 的转换过程确保了近乎无损的变换。理解引导的生成引入了TSUMM-SUITE这是一个包含 6 个时间序列分析理解任务和 2 个生成任务的新型数据集。通过校准的思维链 (CoT)TIMEOMNI-VL 首次利用时间序列理解作为高保真生成的显式控制信号。实验证明这种统一方法显著提高了语义理解能力和数值精度。1. 引言 (Introduction)时间序列建模目前主要沿两个平行方向发展1生成模型以时间序列基础模型 (TSFM) 为代表优先考虑高保真数值序列生成擅长预测和插值见图 1b。2理解模型受大语言模型 (LLM) 启发侧重于时间推理和提供人类可读的解释见图 1a。然而这两者之间存在巨大分歧生成模型缺乏显式的结构化理解而理解模型由于文本分词器会破坏数值连续性例如 “123” 被拆分为 “1”, “2”, “3”难以进行高保真数值生成。图 1(a) 仅输出文本答案的理解模型、(b) 仅输出时间序列的生成模型、以及 © 支持双重任务的统一模型架构对比。受视觉领域 UMM 的启发我们将时间序列重新定义为视觉修复问题。但现有方法面临两个挑战1缺乏保真度保留的双向映射导致输入阶段信息丢失2理解引导生成的机制尚未开发。为了解决这些问题我们开发了 TIMEOMNI-VL引入了健壮保真归一化 (RFN)和编码容量控制并构建了 TSUMM-SUITE 数据集通过逻辑校准的推理链将理解任务作为生成的控制信号。2. 相关工作 (Related Work)时间序列生成模型包括基于时间序列的模型如 TSFM和基于图像的模型如 VisionTS。现有视觉方法虽然有效但缺乏对信号动力学如趋势偏移或季节性依赖的真实理解。时间序列理解模型包括时间序列语言模型 (TSLM) 和推理模型 (TSRM)。它们受限于 LLM 的文本中心特性难以满足高保真生成所需的精度。统一多模态模型 (UMM)视觉社区已通过自回归或混合范式整合了理解与生成。TIMEOMNI-VL 借鉴此思路利用图像作为媒介来增强 UMM 处理时间数据的能力。3. 方法论 (Methodology)问题定义我们将统一任务公式化为一个条件“先思考后输出”的过程。给定输入序列X \mathbf{X}X和上下文C CC模型首先生成思维链R RR然后产生目标o oop θ ( R , o ∣ X , C ) p θ ( R ∣ X , C ) p θ ( o ∣ R , X , C ) ( 1 ) p_{\theta}(R,o\mid \mathbf{X},C) p_{\theta}(R\mid \mathbf{X},C)p_{\theta}(o\mid R,\mathbf{X},C) \quad (1)pθ​(R,o∣X,C)pθ​(R∣X,C)pθ​(o∣R,X,C)(1)整体框架如图 2 所示我们使用 Bagel-7B 作为骨干模型通过 Bi-TSI 转换器将原始序列转换为高保真视觉表示TS-image。图 2TIMEOMNI-VL 框架概览。输入序列经 (a) TS2I 转换器变为图像I II。理解模型生成 CoTR RR和答案生成任务中R RR作为条件引导生成模块产生目标图像I t g t I_{\mathrm{tgt}}Itgt​再由 (b) I2TS 转换器转回数值。3.1 保真度保留的“时间序列⇔ \Leftrightarrow⇔图像”映射Bi-TSI 包含两个核心改进健壮保真归一化 (RFN)结合 MAD 和标准差通过tanh ⁡ \tanhtanh映射防止极端离群值导致的信号饱和或噪声放大σ α M e d i a n ( ∣ X − μ ∣ ) c M A D ( 1 − α ) S t d ( X ) ( 5 ) \sigma \alpha \frac{\mathrm{Median}(|\mathbf{X} - \pmb{\mu}|)}{c_{\mathrm{MAD}}} (1 - \alpha)\mathrm{Std}(\mathbf{X}) \quad (5)σαcMAD​Median(∣X−μ∣)​(1−α)Std(X)(5)X n o r m tanh ⁡ ( X − μ κ σ ) ( 6 ) \mathbf{X}_{\mathrm{norm}} \tanh \left(\frac{\mathbf{X} - \pmb{\mu}}{\kappa \sigma}\right) \quad (6)Xnorm​tanh(κσX−μ​)(6)编码容量控制通过约束分辨率如896 × 896 896 \times 896896×896和变量比例确保在渲染时每个时间步至少占据一个像素避免下采样带来的细节丢失。3.2 构建生成与理解任务 (TSUMM-SUITE)生成任务涵盖预测和插值包含 4 万个样本。理解任务设计了 6 种任务分为布局级定位变量和周期和信号级分析周期内/间的模式见图 4。桥接机制由于理解和生成任务基于相同的实例我们将理解逻辑组合成生成任务的 CoTR g e n R_{\mathrm{gen}}Rgen​使生成过程具备结构化的上下文信息。图 4TSUMM-SUITE 示例展示了 6 个理解任务和 2 个生成任务如何通过 CoT 相互关联。4. 实验 (Experiments)时间序列理解结果如图 5 所示基础模型在多项任务上准确率为零而经过训练的 TIMEOMNI-VL 在布局级和信号级任务上均表现出色QA1 至 QA4 的准确率接近 1.0证明了其解析 TS-image 的能力。图 5TS-image 理解任务的性能表现。时间序列预测结果在 GIFT-Eval 测试集上的评估显示传统的文本输出模型如 Qwen2.5-7B, Time-R1在长序列预测中因分词和计数能力不足而失败。相比之下TIMEOMNI-VL 与 VisionTS 系列达到了顶尖精度证明了预测能力可以被有效地内化为 UMM 的原生能力。时间序列插值设置为了确保零样本zero-shot评估研究使用了 GIFT-Eval 并构建了一个包含 855 个测试实例的子集涵盖不同的缺失比例87 个样本缺失率为10 % − 20 % 10\% - 20\%10%−20%163 个样本为20 % − 30 % 20\% - 30\%20%−30%306 个样本为30 % − 40 % 30\% - 40\%30%−40%279 个样本为40 % − 50 % 40\% - 50\%40%−50%。结果表 2 报告了插值结果。TIMEOMNI-VL 达到了最先进的性能SOTA这可能是因为与纯预测不同插值可以同时利用过去和未来的上下文来指导重构。未经过微调的 Bagel 主干模型仍然无法执行时间序列特定的任务指令附录 F 的表 18 提供了代表性的失败案例。有趣的是在插值任务中简单的统计基准模型优于经过时间序列微调的 Moment 模型以及纯文本 LLM 基准。表 1. 不同预测长度下的预测性能nMASE。红色最佳蓝色次佳。“-” 表示成功率SR低于10 % 10\%10%不具有统计学意义。MethodPrediction LengthShort-termMed-termLong-termLLMsGemini-2.5-flash1.2951.2011.279Qwen2.5-Instruct-7B1.445--Time Series-based ModelsChatTime0.9831.4394.164Time-R11.162--TimeOmni-11.298--Image-based ModelsVisionTS0.9150.6820.690VisionTS1.2630.7630.794Bagel16.30317.84016.530TIMEOMNI-VL0.8780.8160.784表 2. 不同掩码比例下的插值性能nMASE。红色最佳蓝色次佳。“-” 表示成功率SR低于10 % 10\%10%不具有统计学意义。MethodMasking Ratio[0.1, 0.2)[0.2, 0.3)[0.3, 0.4)LLMsGemini-2.5-flash0.9202.0282.434Qwen2.5-Instruct-7B4.8781.854-Statistics BaselinesNearest0.9750.9581.003Linear0.9430.9050.965Time Series-based ModelsMoment-large1.2201.4001.630Moment-base1.5101.6001.700Image-based ModelsBagel17.41112.23911.849TIMEOMNI-VL0.7130.7570.842图 6. TS2I 策略的消融实验。对比了我们的 TS2I 与热图heatmap表示在预测左和插值右任务中的表现。红色箭头表示性能差距。时间序列推理设置为检验是否能将时间序列领域知识有效地注入统一多模态模型UMMs研究遵循 TimeOmni-1 的评估协议在纯文本推理任务上进行了分布外OOD评估。结果附录 E.3 的表 8 报告了推理结果。尽管没有使用强化学习来显式增强推理能力TIMEOMNI-VL 在任务 1、任务 2 和任务 4 中均取得了前二的性能。这些结果表明后训练post-training成功地将必要的时间序列领域知识整合进了 UMMs。4.2. 更多分析TS2I 策略的消融实验设置研究对比了 Bi-TSI 中的 TS2I 策略与广泛采用的“时间序列转热图”表示图 7。除了图像生成过程外所有实验设置保持一致。结果图 6 总结了消融结果。将 TS2I 替换为热图表示会导致所有任务性能持续下降事实上热图变体在几乎所有任务上的 mMASE 表现都差于 NAIVE 基准。这凸显了生成性能对时间序列图像构建策略的高度敏感性。研究归纳了性能下降的两个主要因素1有限图像分辨率下的信息损失当总长度上下文预测超过图像宽度896时热图必须沿时间轴下采样从而丢失细粒度信息。2更高的建模难度热图要求模型隐式对齐 2D 布局中的周期模式而 TS2I 通过循环重排序列使周期对齐显性化。图 7. 时间序列图像构建的视觉对比。原始序列左我们的 TS2I 策略中显式对齐周期标准热图表示右。图 8. 理解模型的消融实验。对比了仅生成与理解引导生成在预测左和插值右任务中的表现。理解模型的消融实验设置为验证理解是否能促进生成研究在训练期间冻结理解模型并在推理期间禁用思维链CoT生成。结果图 8 总结了消融结果。在没有 CoT 作为上下文的情况下所有案例的生成性能均出现下降nMASE 平均增加了8.2 % 8.2\%8.2%。这表明模型主干中的共享自注意力机制实现了理解模型与生成模块之间的有效交互使生成模块能够利用理解模型提供的语义信息从而产生更可控的时间序列生成结果。案例研究附录 F 提供了涵盖所有任务六个理解任务两个生成任务的详细案例研究。此外表 17 和表 18 展示了基座模型的两个代表性失败案例。这些对比进一步证明后训练使 TIMEOMNI-VL 将时间序列的理解与生成内化为了其固有能力。5. 结论本文介绍了 TIMEOMNI-VL这是一个以视觉为中心、统一了时间序列理解与生成的框架。首先开发了 Bi-TSI这是一种面向保真度的映射方法可确保近乎无损的时间序列到图像转换。在此基础上引入了 TSUMM-SUITE 基准测试包含从基础周期定位到复杂模式分析的全面理解任务以及下游生成任务。通过一种公式化为 CoT 条件过程的理解引导生成机制TIMEOMNI-VL 将语义理解与高保真生成联系起来。实验结果表明TIMEOMNI-VL 在理解和生成方面均表现强劲为以视觉为中心的统一时间序列建模提供了新视角。Original Abstract:Recent time series modeling faces a sharp divide between numerical generation and semantic understanding, with research showing that generation models often rely on superficial pattern matching, while understanding-oriented models struggle with high-fidelity numerical output. Although unified multimodal models (UMMs) have bridged this gap in vision, their potential for time series remains untapped. We propose TimeOmni-VL, the first vision-centric framework that unifies time series understanding and generation through two key innovations: (1) Fidelity-preserving bidirectional mapping between time series and images (Bi-TSI), which advances Time Series-to-Image (TS2I) and Image-to-Time Series (I2TS) conversions to ensure near-lossless transformations. (2) Understanding-guided generation. We introduce TSUMM-Suite, a novel dataset consists of six understanding tasks rooted in time series analytics that are coupled with two generation tasks. With a calibrated Chain-of-Thought, TimeOmni-VL is the first to leverage time series understanding as an explicit control signal for high-fidelity generation. Experiments confirm that this unified approach significantly improves both semantic understanding and numerical precision, establishing a new frontier for multimodal time series modeling.PDF Link:2602.17149v1部分平台可能图片显示异常请以我的博客内容为准