尧图网页设计 
1. 从“跑通模型”到“用好模型”为什么交叉验证是时间序列预测的必修课很多朋友在入门时间序列预测时第一步往往是找到一个MATLAB的示例代码比如用fitlm做个线性回归或者用fitrensemble搞个集成学习把数据喂进去看着训练集上那条拟合得不错的曲线就觉得“成了”。但当你兴冲冲地把这个模型拿去预测未来的数据时结果往往惨不忍睹。问题出在哪大概率是模型“过拟合”了——它在训练集上表现得太好以至于记住了训练数据的噪声和短期波动却丧失了捕捉数据背后真实规律、进行泛化预测的能力。这就是为什么“交叉验证”和“损失函数”这两个概念是从“玩具代码”走向“实用模型”的关键分水岭。它们共同构成了模型评估与选择的基石。简单来说交叉验证负责告诉我们模型在“没见过”的数据上大概能得多少分而损失函数则定义了“得分”的计算规则。在MATLAB里实现时间序列回归如果只盯着训练误差无异于闭门造车。今天我们就来深入聊聊如何利用MATLAB强大的工具箱为你的时间序列回归模型构建一套严谨的评估体系确保它走出“温室”经得起真实世界的考验。2. 时间序列交叉验证为什么不能简单打乱数据在普通的机器学习问题中我们常用K折交叉验证把数据随机打乱分成K份轮流用其中K-1份训练剩下1份验证。但这个“随机打乱”的步骤在时间序列数据上是致命的错误。时间序列的核心特性是顺序依赖即当前时刻的值与过去时刻的值高度相关。如果你随机打乱就等于人为地创造了“未来”数据去预测“过去”的虚假场景这完全违背了时间序列预测的因果逻辑评估结果会过于乐观毫无参考价值。因此我们必须使用时间序列交叉验证。它的核心思想是验证集的时间点必须严格晚于训练集的所有时间点。MATLAB提供了几种非常实用的方法来实现这一点。2.1 滚动窗口与扩展窗口两种核心策略假设我们有一个从2010年到2023年的月度数据序列目标是预测未来。我们有两种主流的划分策略滚动窗口训练窗口长度固定。比如每次用过去5年60个月的数据训练预测下一个月。然后窗口向后滚动一个月再用新的5年数据训练预测再下一个月如此往复。% 假设 data 是T×1的向量T为总时间点数 initialTrainSize 60; % 初始训练窗口长度 horizon 1; % 预测步长 cv cvpartition(numel(data), Holdout, initialTrainSize/numel(data)); % 初始划分 trainIdx training(cv); testIdx test(cv); % 手动实现滚动窗口循环 for t initialTrainSize : (numel(data)-horizon) currentTrainData data(1:t); currentTestPoint data(thorizon); % 要预测的点 % 在这里训练模型并预测 currentTestPoint % 保存预测值和真实值 end滚动窗口模拟的是模型定期用最新数据重新训练的场景要求模型能快速适应最新的数据模式。扩展窗口训练窗口从初始点开始随时间逐步扩展。比如第一次用前5年数据训练预测第6年第二次用前6年数据训练预测第7年以此类推。initialTrainSize 60; for t initialTrainSize : (numel(data)-horizon) currentTrainData data(1:t); % 窗口不断扩大 currentTestPoint data(thorizon); % 训练与预测 end扩展窗口假设所有历史数据都对未来预测有持续价值适合长期趋势稳定的序列。注意在MATLAB中更优雅的方式是使用tspartition函数。它是专门为时间序列设计的交叉验证分区器可以轻松创建滚动或扩展窗口。% 创建滚动窗口分区80%数据初始训练每次预测未来1步 cv tspartition(size(data,1), Rolling, TrainSize, 0.8, TestSize, 1); % 创建扩展窗口分区 cv tspartition(size(data,1), Expanding, TrainSize, 0.8); % 遍历所有折叠 for i 1:cv.NumTestSets trainIdx cv.training(i); testIdx cv.test(i); trainData data(trainIdx, :); testData data(testIdx, :); % ... 模型训练与评估 end2.2 实操中的关键细节与陷阱数据泄露的幽灵这是时间序列CV中最容易踩的坑。确保在训练集中任何基于未来信息的操作都被禁止。例如如果你进行了归一化必须仅使用训练集的均值和方差来归一化验证集。在循环中这个操作需要在每个折叠内独立进行。% 错误做法在整个数据集上归一化后再划分 dataNormalized normalize(data); % 泄露了未来信息 % 正确做法在每个折叠内分别归一化 for fold 1:cv.NumTestSets trainIdx cv.training(fold); testIdx cv.test(fold); trainData data(trainIdx); testData data(testIdx); % 计算训练集的统计量 mu mean(trainData); sigma std(trainData); % 应用训练集的统计量到训练集和测试集 trainDataNorm (trainData - mu) / sigma; testDataNorm (testData - mu) / sigma; % 注意测试集用训练集的参数 % 后续建模... end季节性调整与滞后特征创建滞后特征如用前3天的值预测今天时必须确保特征矩阵的构建在训练集内部完成防止验证集的信息“穿越”到特征中。窗口大小的选择没有黄金标准。一个实用的方法是绘制模型性能如RMSE随训练窗口大小变化的曲线。如果曲线在某个窗口后趋于平缓说明更早的历史数据可能已经信息过时选择该窗口即可。对于有明显周期如季节性的数据训练窗口长度最好是周期的整数倍。3. 损失函数不仅仅是误差的平均值当我们通过交叉验证得到多个预测误差后如何用一个数字来概括模型的性能这就是损失函数的任务。它量化了预测值与真实值之间的差异。选择不同的损失函数意味着你对“预测错误”有着不同的容忍度和惩罚策略。3.1 回归任务中常见的损失函数及其MATLAB实现假设我们有真实值向量yTrue和预测值向量yPred。均方误差MSE与均方根误差RMSEMSE:mean((yTrue - yPred).^2)RMSE:sqrt(mean((yTrue - yPred).^2))特点与适用场景MSE/RMSE对大的误差给予极高的惩罚因为平方项。这使得模型会极力避免出现大的预测偏差。适用于误差分布相对均匀、且大误差代价高昂的场景如金融风险预测。RMSE的优势在于其量纲与原始数据一致更易于解释。平均绝对误差MAE计算mean(abs(yTrue - yPred))特点与适用场景对误差的惩罚是线性的对大误差的“敏感度”低于MSE。因此当数据中存在少量异常值离群点时MAE比MSE更稳健模型不会为了拟合少数异常点而扭曲整体趋势。如果你的时间序列偶尔有“尖峰”或“谷底”且你认为这些是噪声而非规律MAE是更好的选择。平均绝对百分比误差MAPE计算mean(abs((yTrue - yPred) ./ yTrue)) * 100特点与适用场景结果以百分比表示非常直观便于在不同量级的序列间比较模型性能。但是它有致命缺点当真实值yTrue为0或接近0时公式分母为零或极小会导致MAPE无限大或失去意义。因此它不适用于包含零值或值域非常接近零的时间序列。对称平均绝对百分比误差sMAPE计算mean(2 * abs(yTrue - yPred) ./ (abs(yTrue) abs(yPred))) * 100特点与适用场景为了解决MAPE的缺点而提出分母是真实值和预测值的平均值避免了除零问题。但它也有争议当真实值和预测值同时很小时误差会被放大。使用时需谨慎。3.2 如何为你的时间序列选择损失函数这没有标准答案但可以遵循以下决策路径首要考虑业务目标。你的预测用来做什么库存管理预测偏差可能导致缺货或积压。缺货预测偏低和积压预测偏高的成本可能不同。这时可以考虑非对称损失函数MATLAB中需自定义对过高或过低的预测给予不同权重的惩罚。金融收益率预测大误差意味着巨大的风险应使用MSE/RMSE进行严厉惩罚。能源负荷预测数据相对平稳可能包含仪表故障导致的异常值使用MAE更稳健。分析数据特性绘制序列图检查是否有异常值。如果异常值很多且是噪声选MAE。检查序列是否包含零值或接近零的值。如果有避免使用MAPE可考虑sMAPE或MSE/MAE。观察误差分布。在交叉验证后绘制预测误差的直方图。如果误差大致对称MSE和MAE都可如果误差分布有偏可能需要自定义损失函数。在MATLAB中综合评估 永远不要只依赖一个指标。在交叉验证循环中同时计算多个损失函数的值。% 在交叉验证循环内 mse_values(fold) mean((yTrue_test - yPred).^2); mae_values(fold) mean(abs(yTrue_test - yPred)); % 如果yTrue_test没有零值可以计算mape if all(yTrue_test ~ 0) mape_values(fold) mean(abs((yTrue_test - yPred) ./ yTrue_test)) * 100; end % 循环结束后计算平均性能 final_mse mean(mse_values); final_mae mean(mae_values); fprintf(CV平均MSE: %.4f, RMSE: %.4f, MAE: %.4f\n, final_mse, sqrt(final_mse), final_mae);对比不同模型在不同指标下的表现有时一个模型RMSE小但MAE大说明它多数预测准但偶尔有巨大偏差你需要根据业务决定是否接受。4. 实战演练用电负荷预测的完整评估流程让我们用一个模拟的用电负荷数据集走通从数据准备、交叉验证、模型训练到多指标评估的全过程。假设我们有2018-2022年的每日负荷数据并添加了星期几和是否为节假日的特征。4.1 数据准备与特征工程% 1. 生成模拟数据 numDays 365*5; % 5年 time datetime(2018,1,1) caldays(0:numDays-1); % 模拟具有趋势、季节性和随机性的负荷 trend (1:numDays) * 0.05; seasonality 100 * sin(2*pi*(day(time, dayofyear)/365)) 20 * cos(2*pi*hour(time)/24); noise 10 * randn(numDays, 1); load 500 trend seasonality noise; % 基础负荷 % 2. 创建特征 isWeekend (weekday(time) 1 | weekday(time) 7); % 周日1周六7 isHoliday ismember(month(time), [1, 5, 10]) day(time) 7; % 简单模拟节假日 lag1 [NaN; load(1:end-1)]; % 前一天负荷滞后特征 lag7 [NaN(7,1); load(1:end-7)]; % 上周同天负荷 % 构建特征表 features table(time, load, isWeekend, isHoliday, lag1, lag7, VariableNames, ... {Date, Load, IsWeekend, IsHoliday, Load_Lag1, Load_Lag7}); features(any(ismissing(features),2), :) []; % 删除包含NaN的行由于滞后产生 % 3. 划分特征X和目标y X features(:, {IsWeekend, IsHoliday, Load_Lag1, Load_Lag7}); y features.Load; dates features.Date;4.2 实施时间序列滚动窗口交叉验证我们将使用最后20%的数据作为多步预测的测试期并采用滚动窗口进行验证。% 4. 创建时间序列交叉验证分区 totalSamples height(X); testSize floor(totalSamples * 0.2); % 最后20%作为测试期 trainSize totalSamples - testSize; % 手动实现滚动窗口用过去365天预测未来1天 windowSize 365; % 一年作为训练窗口 horizon 1; numRollingSteps testSize; % 我们需要滚动预测整个测试期 % 初始化存储数组 predictions zeros(numRollingSteps, 1); actuals zeros(numRollingSteps, 1); mse_folds zeros(numRollingSteps, 1); mae_folds zeros(numRollingSteps, 1); for step 1:numRollingSteps % 当前训练集的起始和结束索引 trainStartIdx step; trainEndIdx trainStartIdx windowSize - 1; % 当前测试点索引预测未来第horizon天 testIdx trainEndIdx horizon; if testIdx totalSamples break; % 超出数据范围 end % 提取训练和测试数据 X_train X{trainStartIdx:trainEndIdx, :}; y_train y(trainStartIdx:trainEndIdx); X_test X{testIdx, :}; % 单行 y_test_actual y(testIdx); % 训练回归模型这里以线性回归为例 model fitlm(X_train, y_train, Intercept, true); % 包含截距项 % 预测 y_pred predict(model, X_test); % 存储结果 predictions(step) y_pred; actuals(step) y_test_actual; % 计算本折叠的损失 mse_folds(step) (y_test_actual - y_pred)^2; mae_folds(step) abs(y_test_actual - y_pred); end % 清理未使用的部分 predictions predictions(1:step-1); actuals actuals(1:step-1); mse_folds mse_folds(1:step-1); mae_folds mae_folds(1:step-1);4.3 多维度模型评估与结果可视化现在我们有了整个测试期上每一天的预测值和真实值可以进行全面的评估。% 5. 计算整体评估指标 final_mse mean(mse_folds); final_rmse sqrt(final_mse); final_mae mean(mae_folds); fprintf( 滚动窗口交叉验证最终结果 \n); fprintf(测试期天数: %d\n, numel(actuals)); fprintf(均方误差 (MSE): %.2f\n, final_mse); fprintf(均方根误差 (RMSE): %.2f MW\n, final_rmse); % 假设单位是兆瓦 fprintf(平均绝对误差 (MAE): %.2f MW\n, final_mae); fprintf(RMSE/MAE 比值: %.3f (越接近1.253误差分布越接近正态)\n, final_rmse/final_mae); % 6. 可视化预测 vs 实际 figure(Position, [100, 100, 1200, 500]); subplot(1,2,1); plot(dates(end-numel(actuals)1:end), actuals, b-, LineWidth, 1.5, DisplayName, 实际负荷); hold on; plot(dates(end-numel(predictions)1:end), predictions, r--, LineWidth, 1.5, DisplayName, 预测负荷); xlabel(日期); ylabel(负荷 (MW)); title(用电负荷预测结果对比); legend(Location, best); grid on; % 7. 可视化误差分析 subplot(1,2,2); errors actuals - predictions; histogram(errors, 30, Normalization, probability, FaceColor, [0.7 0.7 0.7]); xlabel(预测误差 (MW)); ylabel(频率); title(预测误差分布直方图); hold on; % 在图上标注MAE和RMSE线 xline(final_mae, r--, LineWidth, 2, DisplayName, sprintf(MAE%.1f, final_mae)); xline(-final_mae, r--, LineWidth, 2, HandleVisibility,off); xline(final_rmse, g--, LineWidth, 2, DisplayName, sprintf(RMSE%.1f, final_rmse)); xline(-final_rmse, g--, LineWidth, 2, HandleVisibility,off); legend(Location, best); grid on; % 8. 计算并显示平均绝对百分比误差需检查是否有零值 if all(actuals 0) mape mean(abs(errors ./ actuals)) * 100; fprintf(平均绝对百分比误差 (MAPE): %.2f%%\n, mape); else fprintf(实际值包含零或负值无法计算MAPE。\n); end通过这个完整的流程你得到的不仅仅是一个RMSE数字而是一套诊断报告对比图告诉你模型在哪些时间段表现好或差误差分布图告诉你误差是否对称、是否存在系统性偏差如持续高估或低估RMSE与MAE的比值可以辅助判断误差分布。如果RMSE远大于MAE说明存在少数但巨大的预测错误你需要回去检查这些点对应的特征或事件。5. 进阶思考超越基础交叉验证与损失函数掌握了上述基础后你的模型评估能力已经超过了大多数入门者。但要成为高手还需要考虑更复杂的情况。5.1 多步预测的交叉验证策略前面的例子是“单步预测”即用过去数据预测下一个时间点。但现实中我们常需要做“多步预测”比如预测未来一周的负荷。这时交叉验证策略需要调整。递归策略在验证集的每一步都用模型预测下一步然后将该预测值作为输入特征的一部分如果模型使用滞后特征继续预测下下一步。这更贴近实际应用但误差会逐步累积。直接策略为每一个未来的预测步长训练一个独立的模型。例如预测明天用一个模型预测后天用另一个模型。这避免了误差累积但需要训练多个模型且模型间可能无法共享信息。在MATLAB中实现多步递归验证这需要更精细地控制循环。你需要一个能接受上一步预测值作为输入的特征工程管道。通常这需要将模型封装在一个循环中手动管理滞后特征的更新。5.2 自定义损失函数以贴合业务MATLAB的fitlm等函数默认最小化MSE。但如果你的业务损失不对称呢例如在需求预测中预测过低缺货的损失是预测过高库存积压的5倍。你可以通过以下方式引入自定义损失使用优化工具箱将回归问题转化为优化问题。定义你的自定义损失函数如分段函数然后使用fmincon等求解器寻找最小化该损失的模型参数。分位数回归这是一个强大的替代方案。它不预测平均值而是预测分布的分位数如中位数、第90百分位数。对于库存问题你可以用较高的分位数如0.95进行预测以高概率覆盖需求实现服务水平的控制。MATLAB的统计和机器学习工具箱支持分位数回归。% 使用分位数回归需要Statistics and Machine Learning Toolbox % 假设我们想估计90%分位数倾向于高估避免缺货 tau 0.9; beta quantreg(X_train, y_train, tau); y_pred_high [ones(size(X_test,1),1), X_test] * beta; % 手动添加截距并预测5.3 模型稳定性评估交叉验证的标准差我们之前只计算了交叉验证指标的平均值。但平均值相同稳定性可能天差地别。一个模型在所有折叠上RMSE都稳定在10左右另一个模型RMSE在5到15之间剧烈波动显然后者风险更高。因此一定要报告评估指标的标准差。fprintf(RMSE平均值: %.2f ± %.2f (标准差)\n, final_rmse, std(sqrt(mse_folds))); fprintf(MAE平均值: %.2f ± %.2f (标准差)\n, final_mae, std(mae_folds));一个大的标准差提示你模型在某些时间段或数据子集上表现不稳定需要进一步分析原因是否是季节性、突发事件导致。在我自己的项目经验里交叉验证和损失函数的选择从来不是一蹴而就的。它更像是一个调试和诊断的过程。我通常会先用一个简单的模型如线性回归配合时间序列CV和RMSE/MAE跑通整个评估流程建立一个性能基线。然后尝试更复杂的模型如梯度提升树、LSTM观察性能提升是否显著。同时我会仔细分析误差大的那些时间点回去检查原始数据看是否有特殊事件节假日、故障、促销未被纳入特征。很多时候特征工程的质量远比模型本身复杂度的提升来得重要。最后记住没有“最好”的损失函数只有最“合适”当前业务场景的那一个。多和业务方沟通理解预测错误到底会带来什么后果才能把冷冰冰的误差数字转化成有业务温度的模型优化方向。 MATLAB时间序列预测：交叉验证与损失函数实战指南
1. 从“跑通模型”到“用好模型”为什么交叉验证是时间序列预测的必修课很多朋友在入门时间序列预测时第一步往往是找到一个MATLAB的示例代码比如用fitlm做个线性回归或者用fitrensemble搞个集成学习把数据喂进去看着训练集上那条拟合得不错的曲线就觉得“成了”。但当你兴冲冲地把这个模型拿去预测未来的数据时结果往往惨不忍睹。问题出在哪大概率是模型“过拟合”了——它在训练集上表现得太好以至于记住了训练数据的噪声和短期波动却丧失了捕捉数据背后真实规律、进行泛化预测的能力。这就是为什么“交叉验证”和“损失函数”这两个概念是从“玩具代码”走向“实用模型”的关键分水岭。它们共同构成了模型评估与选择的基石。简单来说交叉验证负责告诉我们模型在“没见过”的数据上大概能得多少分而损失函数则定义了“得分”的计算规则。在MATLAB里实现时间序列回归如果只盯着训练误差无异于闭门造车。今天我们就来深入聊聊如何利用MATLAB强大的工具箱为你的时间序列回归模型构建一套严谨的评估体系确保它走出“温室”经得起真实世界的考验。2. 时间序列交叉验证为什么不能简单打乱数据在普通的机器学习问题中我们常用K折交叉验证把数据随机打乱分成K份轮流用其中K-1份训练剩下1份验证。但这个“随机打乱”的步骤在时间序列数据上是致命的错误。时间序列的核心特性是顺序依赖即当前时刻的值与过去时刻的值高度相关。如果你随机打乱就等于人为地创造了“未来”数据去预测“过去”的虚假场景这完全违背了时间序列预测的因果逻辑评估结果会过于乐观毫无参考价值。因此我们必须使用时间序列交叉验证。它的核心思想是验证集的时间点必须严格晚于训练集的所有时间点。MATLAB提供了几种非常实用的方法来实现这一点。2.1 滚动窗口与扩展窗口两种核心策略假设我们有一个从2010年到2023年的月度数据序列目标是预测未来。我们有两种主流的划分策略滚动窗口训练窗口长度固定。比如每次用过去5年60个月的数据训练预测下一个月。然后窗口向后滚动一个月再用新的5年数据训练预测再下一个月如此往复。% 假设 data 是T×1的向量T为总时间点数 initialTrainSize 60; % 初始训练窗口长度 horizon 1; % 预测步长 cv cvpartition(numel(data), Holdout, initialTrainSize/numel(data)); % 初始划分 trainIdx training(cv); testIdx test(cv); % 手动实现滚动窗口循环 for t initialTrainSize : (numel(data)-horizon) currentTrainData data(1:t); currentTestPoint data(thorizon); % 要预测的点 % 在这里训练模型并预测 currentTestPoint % 保存预测值和真实值 end滚动窗口模拟的是模型定期用最新数据重新训练的场景要求模型能快速适应最新的数据模式。扩展窗口训练窗口从初始点开始随时间逐步扩展。比如第一次用前5年数据训练预测第6年第二次用前6年数据训练预测第7年以此类推。initialTrainSize 60; for t initialTrainSize : (numel(data)-horizon) currentTrainData data(1:t); % 窗口不断扩大 currentTestPoint data(thorizon); % 训练与预测 end扩展窗口假设所有历史数据都对未来预测有持续价值适合长期趋势稳定的序列。注意在MATLAB中更优雅的方式是使用tspartition函数。它是专门为时间序列设计的交叉验证分区器可以轻松创建滚动或扩展窗口。% 创建滚动窗口分区80%数据初始训练每次预测未来1步 cv tspartition(size(data,1), Rolling, TrainSize, 0.8, TestSize, 1); % 创建扩展窗口分区 cv tspartition(size(data,1), Expanding, TrainSize, 0.8); % 遍历所有折叠 for i 1:cv.NumTestSets trainIdx cv.training(i); testIdx cv.test(i); trainData data(trainIdx, :); testData data(testIdx, :); % ... 模型训练与评估 end2.2 实操中的关键细节与陷阱数据泄露的幽灵这是时间序列CV中最容易踩的坑。确保在训练集中任何基于未来信息的操作都被禁止。例如如果你进行了归一化必须仅使用训练集的均值和方差来归一化验证集。在循环中这个操作需要在每个折叠内独立进行。% 错误做法在整个数据集上归一化后再划分 dataNormalized normalize(data); % 泄露了未来信息 % 正确做法在每个折叠内分别归一化 for fold 1:cv.NumTestSets trainIdx cv.training(fold); testIdx cv.test(fold); trainData data(trainIdx); testData data(testIdx); % 计算训练集的统计量 mu mean(trainData); sigma std(trainData); % 应用训练集的统计量到训练集和测试集 trainDataNorm (trainData - mu) / sigma; testDataNorm (testData - mu) / sigma; % 注意测试集用训练集的参数 % 后续建模... end季节性调整与滞后特征创建滞后特征如用前3天的值预测今天时必须确保特征矩阵的构建在训练集内部完成防止验证集的信息“穿越”到特征中。窗口大小的选择没有黄金标准。一个实用的方法是绘制模型性能如RMSE随训练窗口大小变化的曲线。如果曲线在某个窗口后趋于平缓说明更早的历史数据可能已经信息过时选择该窗口即可。对于有明显周期如季节性的数据训练窗口长度最好是周期的整数倍。3. 损失函数不仅仅是误差的平均值当我们通过交叉验证得到多个预测误差后如何用一个数字来概括模型的性能这就是损失函数的任务。它量化了预测值与真实值之间的差异。选择不同的损失函数意味着你对“预测错误”有着不同的容忍度和惩罚策略。3.1 回归任务中常见的损失函数及其MATLAB实现假设我们有真实值向量yTrue和预测值向量yPred。均方误差MSE与均方根误差RMSEMSE:mean((yTrue - yPred).^2)RMSE:sqrt(mean((yTrue - yPred).^2))特点与适用场景MSE/RMSE对大的误差给予极高的惩罚因为平方项。这使得模型会极力避免出现大的预测偏差。适用于误差分布相对均匀、且大误差代价高昂的场景如金融风险预测。RMSE的优势在于其量纲与原始数据一致更易于解释。平均绝对误差MAE计算mean(abs(yTrue - yPred))特点与适用场景对误差的惩罚是线性的对大误差的“敏感度”低于MSE。因此当数据中存在少量异常值离群点时MAE比MSE更稳健模型不会为了拟合少数异常点而扭曲整体趋势。如果你的时间序列偶尔有“尖峰”或“谷底”且你认为这些是噪声而非规律MAE是更好的选择。平均绝对百分比误差MAPE计算mean(abs((yTrue - yPred) ./ yTrue)) * 100特点与适用场景结果以百分比表示非常直观便于在不同量级的序列间比较模型性能。但是它有致命缺点当真实值yTrue为0或接近0时公式分母为零或极小会导致MAPE无限大或失去意义。因此它不适用于包含零值或值域非常接近零的时间序列。对称平均绝对百分比误差sMAPE计算mean(2 * abs(yTrue - yPred) ./ (abs(yTrue) abs(yPred))) * 100特点与适用场景为了解决MAPE的缺点而提出分母是真实值和预测值的平均值避免了除零问题。但它也有争议当真实值和预测值同时很小时误差会被放大。使用时需谨慎。3.2 如何为你的时间序列选择损失函数这没有标准答案但可以遵循以下决策路径首要考虑业务目标。你的预测用来做什么库存管理预测偏差可能导致缺货或积压。缺货预测偏低和积压预测偏高的成本可能不同。这时可以考虑非对称损失函数MATLAB中需自定义对过高或过低的预测给予不同权重的惩罚。金融收益率预测大误差意味着巨大的风险应使用MSE/RMSE进行严厉惩罚。能源负荷预测数据相对平稳可能包含仪表故障导致的异常值使用MAE更稳健。分析数据特性绘制序列图检查是否有异常值。如果异常值很多且是噪声选MAE。检查序列是否包含零值或接近零的值。如果有避免使用MAPE可考虑sMAPE或MSE/MAE。观察误差分布。在交叉验证后绘制预测误差的直方图。如果误差大致对称MSE和MAE都可如果误差分布有偏可能需要自定义损失函数。在MATLAB中综合评估 永远不要只依赖一个指标。在交叉验证循环中同时计算多个损失函数的值。% 在交叉验证循环内 mse_values(fold) mean((yTrue_test - yPred).^2); mae_values(fold) mean(abs(yTrue_test - yPred)); % 如果yTrue_test没有零值可以计算mape if all(yTrue_test ~ 0) mape_values(fold) mean(abs((yTrue_test - yPred) ./ yTrue_test)) * 100; end % 循环结束后计算平均性能 final_mse mean(mse_values); final_mae mean(mae_values); fprintf(CV平均MSE: %.4f, RMSE: %.4f, MAE: %.4f\n, final_mse, sqrt(final_mse), final_mae);对比不同模型在不同指标下的表现有时一个模型RMSE小但MAE大说明它多数预测准但偶尔有巨大偏差你需要根据业务决定是否接受。4. 实战演练用电负荷预测的完整评估流程让我们用一个模拟的用电负荷数据集走通从数据准备、交叉验证、模型训练到多指标评估的全过程。假设我们有2018-2022年的每日负荷数据并添加了星期几和是否为节假日的特征。4.1 数据准备与特征工程% 1. 生成模拟数据 numDays 365*5; % 5年 time datetime(2018,1,1) caldays(0:numDays-1); % 模拟具有趋势、季节性和随机性的负荷 trend (1:numDays) * 0.05; seasonality 100 * sin(2*pi*(day(time, dayofyear)/365)) 20 * cos(2*pi*hour(time)/24); noise 10 * randn(numDays, 1); load 500 trend seasonality noise; % 基础负荷 % 2. 创建特征 isWeekend (weekday(time) 1 | weekday(time) 7); % 周日1周六7 isHoliday ismember(month(time), [1, 5, 10]) day(time) 7; % 简单模拟节假日 lag1 [NaN; load(1:end-1)]; % 前一天负荷滞后特征 lag7 [NaN(7,1); load(1:end-7)]; % 上周同天负荷 % 构建特征表 features table(time, load, isWeekend, isHoliday, lag1, lag7, VariableNames, ... {Date, Load, IsWeekend, IsHoliday, Load_Lag1, Load_Lag7}); features(any(ismissing(features),2), :) []; % 删除包含NaN的行由于滞后产生 % 3. 划分特征X和目标y X features(:, {IsWeekend, IsHoliday, Load_Lag1, Load_Lag7}); y features.Load; dates features.Date;4.2 实施时间序列滚动窗口交叉验证我们将使用最后20%的数据作为多步预测的测试期并采用滚动窗口进行验证。% 4. 创建时间序列交叉验证分区 totalSamples height(X); testSize floor(totalSamples * 0.2); % 最后20%作为测试期 trainSize totalSamples - testSize; % 手动实现滚动窗口用过去365天预测未来1天 windowSize 365; % 一年作为训练窗口 horizon 1; numRollingSteps testSize; % 我们需要滚动预测整个测试期 % 初始化存储数组 predictions zeros(numRollingSteps, 1); actuals zeros(numRollingSteps, 1); mse_folds zeros(numRollingSteps, 1); mae_folds zeros(numRollingSteps, 1); for step 1:numRollingSteps % 当前训练集的起始和结束索引 trainStartIdx step; trainEndIdx trainStartIdx windowSize - 1; % 当前测试点索引预测未来第horizon天 testIdx trainEndIdx horizon; if testIdx totalSamples break; % 超出数据范围 end % 提取训练和测试数据 X_train X{trainStartIdx:trainEndIdx, :}; y_train y(trainStartIdx:trainEndIdx); X_test X{testIdx, :}; % 单行 y_test_actual y(testIdx); % 训练回归模型这里以线性回归为例 model fitlm(X_train, y_train, Intercept, true); % 包含截距项 % 预测 y_pred predict(model, X_test); % 存储结果 predictions(step) y_pred; actuals(step) y_test_actual; % 计算本折叠的损失 mse_folds(step) (y_test_actual - y_pred)^2; mae_folds(step) abs(y_test_actual - y_pred); end % 清理未使用的部分 predictions predictions(1:step-1); actuals actuals(1:step-1); mse_folds mse_folds(1:step-1); mae_folds mae_folds(1:step-1);4.3 多维度模型评估与结果可视化现在我们有了整个测试期上每一天的预测值和真实值可以进行全面的评估。% 5. 计算整体评估指标 final_mse mean(mse_folds); final_rmse sqrt(final_mse); final_mae mean(mae_folds); fprintf( 滚动窗口交叉验证最终结果 \n); fprintf(测试期天数: %d\n, numel(actuals)); fprintf(均方误差 (MSE): %.2f\n, final_mse); fprintf(均方根误差 (RMSE): %.2f MW\n, final_rmse); % 假设单位是兆瓦 fprintf(平均绝对误差 (MAE): %.2f MW\n, final_mae); fprintf(RMSE/MAE 比值: %.3f (越接近1.253误差分布越接近正态)\n, final_rmse/final_mae); % 6. 可视化预测 vs 实际 figure(Position, [100, 100, 1200, 500]); subplot(1,2,1); plot(dates(end-numel(actuals)1:end), actuals, b-, LineWidth, 1.5, DisplayName, 实际负荷); hold on; plot(dates(end-numel(predictions)1:end), predictions, r--, LineWidth, 1.5, DisplayName, 预测负荷); xlabel(日期); ylabel(负荷 (MW)); title(用电负荷预测结果对比); legend(Location, best); grid on; % 7. 可视化误差分析 subplot(1,2,2); errors actuals - predictions; histogram(errors, 30, Normalization, probability, FaceColor, [0.7 0.7 0.7]); xlabel(预测误差 (MW)); ylabel(频率); title(预测误差分布直方图); hold on; % 在图上标注MAE和RMSE线 xline(final_mae, r--, LineWidth, 2, DisplayName, sprintf(MAE%.1f, final_mae)); xline(-final_mae, r--, LineWidth, 2, HandleVisibility,off); xline(final_rmse, g--, LineWidth, 2, DisplayName, sprintf(RMSE%.1f, final_rmse)); xline(-final_rmse, g--, LineWidth, 2, HandleVisibility,off); legend(Location, best); grid on; % 8. 计算并显示平均绝对百分比误差需检查是否有零值 if all(actuals 0) mape mean(abs(errors ./ actuals)) * 100; fprintf(平均绝对百分比误差 (MAPE): %.2f%%\n, mape); else fprintf(实际值包含零或负值无法计算MAPE。\n); end通过这个完整的流程你得到的不仅仅是一个RMSE数字而是一套诊断报告对比图告诉你模型在哪些时间段表现好或差误差分布图告诉你误差是否对称、是否存在系统性偏差如持续高估或低估RMSE与MAE的比值可以辅助判断误差分布。如果RMSE远大于MAE说明存在少数但巨大的预测错误你需要回去检查这些点对应的特征或事件。5. 进阶思考超越基础交叉验证与损失函数掌握了上述基础后你的模型评估能力已经超过了大多数入门者。但要成为高手还需要考虑更复杂的情况。5.1 多步预测的交叉验证策略前面的例子是“单步预测”即用过去数据预测下一个时间点。但现实中我们常需要做“多步预测”比如预测未来一周的负荷。这时交叉验证策略需要调整。递归策略在验证集的每一步都用模型预测下一步然后将该预测值作为输入特征的一部分如果模型使用滞后特征继续预测下下一步。这更贴近实际应用但误差会逐步累积。直接策略为每一个未来的预测步长训练一个独立的模型。例如预测明天用一个模型预测后天用另一个模型。这避免了误差累积但需要训练多个模型且模型间可能无法共享信息。在MATLAB中实现多步递归验证这需要更精细地控制循环。你需要一个能接受上一步预测值作为输入的特征工程管道。通常这需要将模型封装在一个循环中手动管理滞后特征的更新。5.2 自定义损失函数以贴合业务MATLAB的fitlm等函数默认最小化MSE。但如果你的业务损失不对称呢例如在需求预测中预测过低缺货的损失是预测过高库存积压的5倍。你可以通过以下方式引入自定义损失使用优化工具箱将回归问题转化为优化问题。定义你的自定义损失函数如分段函数然后使用fmincon等求解器寻找最小化该损失的模型参数。分位数回归这是一个强大的替代方案。它不预测平均值而是预测分布的分位数如中位数、第90百分位数。对于库存问题你可以用较高的分位数如0.95进行预测以高概率覆盖需求实现服务水平的控制。MATLAB的统计和机器学习工具箱支持分位数回归。% 使用分位数回归需要Statistics and Machine Learning Toolbox % 假设我们想估计90%分位数倾向于高估避免缺货 tau 0.9; beta quantreg(X_train, y_train, tau); y_pred_high [ones(size(X_test,1),1), X_test] * beta; % 手动添加截距并预测5.3 模型稳定性评估交叉验证的标准差我们之前只计算了交叉验证指标的平均值。但平均值相同稳定性可能天差地别。一个模型在所有折叠上RMSE都稳定在10左右另一个模型RMSE在5到15之间剧烈波动显然后者风险更高。因此一定要报告评估指标的标准差。fprintf(RMSE平均值: %.2f ± %.2f (标准差)\n, final_rmse, std(sqrt(mse_folds))); fprintf(MAE平均值: %.2f ± %.2f (标准差)\n, final_mae, std(mae_folds));一个大的标准差提示你模型在某些时间段或数据子集上表现不稳定需要进一步分析原因是否是季节性、突发事件导致。在我自己的项目经验里交叉验证和损失函数的选择从来不是一蹴而就的。它更像是一个调试和诊断的过程。我通常会先用一个简单的模型如线性回归配合时间序列CV和RMSE/MAE跑通整个评估流程建立一个性能基线。然后尝试更复杂的模型如梯度提升树、LSTM观察性能提升是否显著。同时我会仔细分析误差大的那些时间点回去检查原始数据看是否有特殊事件节假日、故障、促销未被纳入特征。很多时候特征工程的质量远比模型本身复杂度的提升来得重要。最后记住没有“最好”的损失函数只有最“合适”当前业务场景的那一个。多和业务方沟通理解预测错误到底会带来什么后果才能把冷冰冰的误差数字转化成有业务温度的模型优化方向。