尧图网页设计 
最近好几个搞光伏发电预测方向的朋友都在问同一个问题论文里动不动就是“PCC-LSTM-XGBoost”这种模型融合到底是怎么搭起来的代码怎么落地说实话这种融合模型在国内外文献里确实很常见但复现的时候坑也不少网上能找到的完整代码要么残缺要么跑不通。今天我就把这个“融合PCC-LSTM-XGBoost的中长期光伏功率预测模型”的完整实现思路和Python代码拆开来讲清楚从特征筛选到模型训练再到结果评估一步不落希望给正在做相关课题或者工程项目的你省点时间。这个项目解决的问题很具体光伏功率预测本质上是一个受辐照度、温度、湿度、风速等多因素影响的时序回归问题单一模型要么抓不住长期依赖比如XGBoost对时间顺序不敏感要么解释性差且容易过拟合比如单独用LSTM。所以核心思路就是先用PCC皮尔逊相关系数筛选出和功率相关性高的气象特征再用LSTM捕捉时间序列规律最后用XGBoost对LSTM的输出做残差修正或集成拟合从而提升整体预测精度。适合谁看正在复现论文的在校研究生、做新能源功率预测的算法工程师、以及想系统了解模型融合实操的Python开发者。1. 为什么要把PCC、LSTM、XGBoost揉在一起做光伏预测1.1 光伏功率预测难在哪光伏功率预测本质上是个“看天吃饭”的活。光伏出力直接受太阳辐照度影响而辐照度又跟云量、大气透明度、空气质量、季节、时段强相关再加上温度对光伏板发电效率的影响温度升高组件效率反而下降整个系统呈现出明显的非线性和非平稳性。你如果用单一模型去做会遇到两个问题。第一是特征太多不知道怎么选。原始数据集里往往包含几十个气象特征有的特征跟功率强相关有的基本是噪声全塞进模型不仅训练慢还可能把模型带偏。第二是时间依赖难以刻画。光伏功率在一天内有明显的“单峰”或“双峰”曲线在几天内有天气过程带来的波动在季节上有辐照总量差异这些时间尺度上的规律普通机器学习模型很难直接捕捉。融合模型就是冲着这两个痛点去的。PCC负责做特征筛选把真正有用的气象因子挑出来LSTM负责挖时间序列里的短期和长期依赖XGBoost负责在LSTM结果的基础上做非线性拟合或误差修正把预测精度再往上拉一截。1.2 三种技术在融合模型中各扮演什么角色先分别说清楚这三个东西是干什么的。PCC也就是皮尔逊相关系数是一种度量两个变量线性相关程度的统计量取值范围在-1到1之间。绝对值越接近1说明相关性越强。用在特征工程里就是把每个气象特征和历史功率算一遍相关系数保留相关性高的剔除相关性低的。这一步能显著降低特征维度也能避免多重共线性带来的模型不稳定问题。LSTM长短期记忆网络是循环神经网络的一个变体通过输入门、遗忘门和输出门来控制信息流动解决了传统RNN的梯度消失和记忆衰减问题。在光伏功率预测中LSTM天然适合处理像历史功率序列、连续气象变化这类带时间顺序的数据。简单说它能把“过去一小时辐照度持续上升”这类上下文信息记住并影响下一时刻的预测输出。XGBoost是梯度提升树模型的一种高效实现它的核心思想是串行训练多棵决策树每棵树学习前面所有树的残差最终把所有树的结果累加起来。相比深度学习模型XGBoost在中小规模数据集上训练快、调参灵活、对异常值具有一定鲁棒性而且能自动处理特征间的非线性交互。三者融合的动机很直接PCC把“喂什么数据”的问题解决了LSTM把“时间顺序怎么利用”的问题解决了XGBoost把“LSTM学完之后的残留误差怎么修正”的问题解决了。分工明确各干各擅长的活。1.3 整体建模链路整个模型的处理流程是串行嵌套的我画不出思维导图但可以用文字把它讲清楚第一步数据预处理包括缺失值填充、异常值剔除和归一化。第二步计算所有特征与输出功率之间的PCC系数设定阈值一般取绝对值大于0.3或0.5筛选出保留特征。第三步用筛选后的特征构造LSTM需要的三维输入数据样本数时间步长特征数训练LSTM模型。第四步把LSTM的预测结果、原始特征甚至时间属性小时、月份拼接起来作为XGBoost的输入特征训练XGBoost回归模型。第五步在测试集上评估模型用MAE、RMSE、R2等指标对比单一LSTM和融合模型的效果。注意第四步这里的融合方式我选择的是“Stacking”思路的一个简化版LSTM输出作为XGBoost的输入特征之一而不是直接让XGBoost去预测最终结果。这么做的好处是XGBoost能在LSTM已经学到时序规律的基础上再做一层非线性校正既能弥补LSTM对极端天气响应不足的缺点又避免了直接堆叠两个模型导致的特征冗余。2. 数据准备与PCC特征筛选实操2.1 数据集怎么准备、长什么样我复现时用的是某光伏电站的真实历史数据采样间隔为1小时时间跨度为一年。数据维度大概包括这几个字段时间戳datetime光伏输出功率power单位kW或MW水平总辐照度GHIW/m2法向直接辐照度DNIW/m2水平散射辐照度DHIW/m2环境温度temp摄氏度相对湿度hum%风速wind_speedm/s气压pressurehPa如果你手头没有实际电站数据可以用公开数据集比如NREL美国国家可再生能源实验室的太阳能数据或者国内一些气象数据平台的光伏电站实测数据再不然就按典型气象年数据去模拟生成。重点不在于数据本身而在于整个建模流程跑通。拿到数据后第一件事不是建模而是看数据的质量。我的建议是先把数据按时间排序检查时间戳是否连续再对功率和辐照度等关键字段做缺失值和异常值统计。光伏电站的功率数据在夜里应该是0如果出现了负值基本可以判定是采集设备异常直接剔除。对于少量缺失值如果缺失比例小于5%用前后时刻的均值或线性插值填充就够了没必要上太复杂的方法。import pandas as pd import numpy as np df pd.read_csv(pv_data.csv, parse_dates[time]) df df.sort_values(time).reset_index(dropTrue) # 基础清洗剔除功率为负的异常点 df df[df[power] 0] # 缺失值线性插值 df df.interpolate(methodlinear, limit_directionboth) df df.dropna().reset_index(dropTrue) print(df.shape) print(df.describe())2.2 PCC计算与特征筛选代码接下来就是PCC的计算。PCC的公式是r Σ((xi - x_mean)(yi - y_mean)) / sqrt(Σ(xi - x_mean)^2 * Σ(yi - y_mean)^2)其中xi是某个特征的值yi是对应的功率值。手写计算也可以但直接用scipy.stats.pearsonr更省事。我习惯把所有特征一次性跑完输出一个相关系数表。from scipy.stats import pearsonr features [GHI, DNI, DHI, temp, hum, wind_speed, pressure] target power corr_results {} for col in features: corr_val, p_val pearsonr(df[col], df[target]) corr_results[col] {pearson_corr: corr_val, p_value: p_val} corr_df pd.DataFrame(corr_results).T.sort_values(pearson_corr, keylambda x: abs(x), ascendingFalse) print(corr_df)运行结果大概率是GHI的相关系数最高能到0.85以上DNI紧随其后DHI、温度次之风速和气压相对较低。这个结果其实是符合物理直觉的因为光伏板发出的功率直接取决于接收到的太阳辐射量而温度会影响光电转换效率风速和气压则属于间接影响因素。筛选这一步不要只看单一阈值我建议结合三个条件综合判断PCC绝对值大于0.3这是最常见的最低门槛低于这个值的特征基本可以看作弱相关。p值小于0.05确保相关系数在统计上显著。两两特征之间的相关系数不要过高如果GHI和DNI的相关系数超过0.95建议只保留其中一个避免多重共线性干扰模型训练。selected_features corr_df[corr_df[pearson_corr].abs() 0.3] selected_features selected_features[selected_features[p_value] 0.05] keep_cols list(selected_features.index) print(筛选后保留的特征, keep_cols)2.3 归一化与数据集划分的注意事项选完特征之后要做的就是把数据变成模型能吃的格式。LSTM对输入数据的尺度非常敏感如果不做归一化训练过程中梯度很容易震荡甚至爆炸。我这里用的是MinMaxScaler把所有特征和功率都缩放到0到1的区间。这里有一个非常容易踩坑的点归一化的fit操作只能在训练集上做不能用全部数据做fit否则会把未来数据的信息泄漏到训练过程里最终得到虚高的测试集精度。同理划分数据集时也不能随机打乱时间序列数据必须按时间顺序切分比如前80%做训练集后20%做测试集。from sklearn.preprocessing import MinMaxScaler # 按时间顺序切分80%训练20%测试 split_idx int(len(df) * 0.8) train_df df.iloc[:split_idx].copy() test_df df.iloc[split_idx:].copy() feature_scaler MinMaxScaler() target_scaler MinMaxScaler() # 注意只对训练数据fit scaled_train_features feature_scaler.fit_transform(train_df[keep_cols]) scaled_train_target target_scaler.fit_transform(train_df[[power]]) # 测试集用训练集的scaler做transform scaled_test_features feature_scaler.transform(test_df[keep_cols]) scaled_test_target target_scaler.transform(test_df[[power]])记住这个原则训练集、测试集共享同一个scaler但scaler参数只能从训练集学。这个细节很多人忽略等你发现测试集精度高到离谱时先检查有没有这一层泄漏。3. LSTM时间序列模型搭建3.1 输入序列怎么构造LSTM的输入格式是三维的样本数量时间步长特征数量。时间步长代表模型能够回溯多少个小时的历史数据。对于光伏功率预测来说时间步长选多少非常关键选太短模型学不到天气过程的连续性选太长不仅计算量大还容易引入过多历史噪声。从我的实测经验看做小时级预测时间步长取12到24比较合适。12小时相当于看半天以内的天气演变24小时是完整的一天周期。如果你做的是中长期预测未来3天到7天可以把步长适当增加到24到48。我最终复现时用的是24因为采样间隔是1小时24步刚好是一整天模型能感知到“昨天同一时刻的发电状态”这对预测整天出力曲线帮助很大。序列构造的方法是用一个滑动窗口在数据上移动。实现上不要自己写for循环一层层套效率太低我习惯用numpy的滑动窗口思路或者直接用下面的方式def create_sequences(data, target, time_steps24): X, y [], [] for i in range(len(data) - time_steps): X.append(data[i:i time_steps]) y.append(target[i time_steps]) return np.array(X), np.array(y) time_steps 24 X_train, y_train create_sequences(scaled_train_features, scaled_train_target, time_steps) X_test, y_test create_sequences(scaled_test_features, scaled_test_target, time_steps) print(X_train shape:, X_train.shape) print(y_train shape:, y_train.shape)构造时注意y取的是窗口结束后的下一个时刻的功率值也就是说模型用过去24小时的数据预测未来1小时的功率。如果你要预测未来3天的功率那就要把y改成未来第N个小时的值或者采用多步预测策略把预测值滚动地作为输入。3.2 网络结构与训练参数设置LSTM网络结构不用搞得太复杂我见过很多初学者一上来就堆三四层LSTM每层128个神经元结果训练慢、过拟合严重。对于光伏功率预测这种单输出回归任务两层LSTM加上Dropout通常就够用了。我这里的结构是第一层LSTM有64个单元返回序列return_sequencesTrue第二层LSTM有32个单元不返回序列再接一个16神经元的全连接层最后输出一个神经元的预测值。激活函数用relu损失函数用均方误差MSE。训练参数方面我总结几个关键选择优化器用Adam初始学习率0.001这个组合对LSTM来说是稳定可靠的起步点。batch_size选32或64太小训练不稳定太大容易内存溢出。epochs先设50配合EarlyStopping回调当验证集损失连续10个epoch不下降就停止训练既省时间又防止过拟合。验证集从训练集尾部切10%出来注意顺序不能随机切。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping model Sequential() model.add(LSTM(64, return_sequencesTrue, input_shape(X_train.shape[1], X_train.shape[2]))) model.add(Dropout(0.2)) model.add(LSTM(32, return_sequencesFalse)) model.add(Dropout(0.2)) model.add(Dense(16, activationrelu)) model.add(Dense(1)) model.compile(optimizerAdam(learning_rate0.001), lossmse, metrics[mae]) model.summary() early_stop EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue) history model.fit( X_train, y_train, validation_split0.1, batch_size64, epochs50, callbacks[early_stop], verbose1 )3.3 LSTM训练的中后期调整如果你发现训练loss下降得特别慢或者验证集loss一直来回震荡按下面的顺序排查第一看看学习率是不是太大了。调到0.0001再试一次如果loss明显平稳那就是学习率的问题。第二加大Dropout比例到0.3或0.4有时候训练集loss很低、验证集loss很高就是过拟合了Dropout能立竿见影。第三检查时间步长。步长过长但样本量不足时模型容易记住训练集噪声。TensorFlow的版本差异也会造成坑。早期版本比如TensorFlow 1.x的LSTM接口和2.x差异很大网上很多老代码直接复制过来跑会报错。我建议环境统一用TensorFlow 2.10以上加Python 3.9或3.10这样模型代码基本不会有兼容性问题。训练完的LSTM模型只是整个融合方案的第一部分。现在我们已经有了一个能拿出手的时序预测器接下来要让XGBoost来“收拾残局”。4. XGBoost融合机制与交叉验证4.1 融合方式怎么选我为什么选StackingLSTM和XGBoost融合网上常见的方案大概有三种第一种结果加权平均。LSTM出一个预测值XGBoost直接去预测功率最后把两个结果按权重相加。简单粗暴但两个模型的误差如果相关性高融合收益有限。第二种残差修正。先用LSTM预测得到预测值再让XGBoost去学习LSTM预测值和真实值之间的残差最终预测等于LSTM预测加XGBoost预测的残差。实现简单而且思路直观。第三种Stacking集成。把LSTM的预测值作为一个新的特征和原始特征一起输入XGBoost让XGBoost基于这些特征重新预测功率。这种方式的优势在于XGBoost不光是学残差它还能学“什么情况下LSTM预测值该被信任、什么情况下该修正”相当于一个自适应校正器。我最终选择的是第三种Stacking。原因很简单在实际测试里Stacking对晴天、多云、雨天三种天气状态的适应能力明显比残差修正更好。因为天气变化时LSTM的预测误差不是固定的有时候偏大有时候偏小残差修正假设误差模式恒定这在光伏场景下不太成立。实现上先拿到LSTM在训练集和测试集上的预测值然后把这些预测值归一化之后和原始特征拼在一起作为XGBoost的训练特征。# LSTM预测 lstm_train_pred model.predict(X_train).flatten().reshape(-1, 1) lstm_test_pred model.predict(X_test).flatten().reshape(-1, 1) # 注意预测值也要缩放到和特征一致的尺度 # 简单起见直接做min-max缩放 from sklearn.preprocessing import MinMaxScaler scalar_pred MinMaxScaler() lstm_train_pred_scaled scalar_pred.fit_transform(lstm_train_pred) lstm_test_pred_scaled scalar_pred.transform(lstm_test_pred) # 用训练集原始特征去掉前time_steps行因为序列构造后样本数减少了拼LSTM预测值 X_train_used scaled_train_features[time_steps:] X_test_used scaled_test_features[time_steps:] X_train_stack np.hstack((X_train_used, lstm_train_pred_scaled)) X_test_stack np.hstack((X_test_used, lstm_test_pred_scaled))这里有一个小小的对齐细节也要提醒一下。因为create_sequences在构造数据时前time_steps个样本是被当作初始窗口吃掉的所以X_train_used的长度会比scaled_train_features少time_steps个。拼接特征前要么把原始特征也切掉前面time_steps行保证对齐要么直接把LSTM预测结果作为唯一特征和原始数据的位置一一对应。我第一次做的时候忘了对齐XGBoost训练完发现结果一塌糊涂排查了半天才发现是行数对不上。这种低级错误写代码的时候最好多加一次shape检查。4.2 XGBoost参数配置与5折交叉验证XGBoost的参数调节范围和LSTM不同它对样本量、特征尺度的敏感性要低一些。不过我还是会把输入特征都做了归一化方便和LSTM之前的处理统一反正也不费什么事。关键的参数我建议按下面的基准来配n_estimators设为600到1000配合早停early_stopping_rounds使用没必要手动死磕轮数。max_depth设为4到6光伏数据量级不算大树太深容易学过头。learning_rateeta设为0.01到0.05学习率小一点树的数量多一点最终精度通常更好。subsample设为0.8colsample_bytree设为0.8加一点随机性降低过拟合。reg_alpha和reg_lambda分别设0.1和1.0这是L1和L2正则项对抑制噪声特征有好处。5折交叉验证在这里不是可选项而是必选项。因为Stacking方案里LSTM预测值本身带有模型偏差如果不做交叉验证直接训练XGBoostXGBoost很容易“学会”把LSTM的预测结果当成真理失去修正能力。import xgboost as xgb from sklearn.model_selection import KFold from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score params { n_estimators: 600, max_depth: 6, learning_rate: 0.01, subsample: 0.8, colsample_bytree: 0.8, reg_alpha: 0.1, reg_lambda: 1.0, objective: reg:squarederror, random_state: 42, } kf KFold(n_splits5, shuffleTrue, random_state42) cv_scores [] # 这里做的是交叉验证来评估XGBoost的稳定性 for train_idx, val_idx in kf.split(X_train_stack): X_cv_train, X_cv_val X_train_stack[train_idx], X_train_stack[val_idx] y_cv_train, y_cv_val y_train[train_idx], y_train[val_idx] model_xgb xgb.XGBRegressor(**params) model_xgb.fit( X_cv_train, y_cv_train, eval_set[(X_cv_val, y_cv_val)], verboseFalse ) pred_val model_xgb.predict(X_cv_val) rmse np.sqrt(mean_squared_error(y_cv_val, pred_val)) cv_scores.append(rmse) print(5折CV RMSE均值: {:.4f}.format(np.mean(cv_scores)))值得注意的是这里的5折交叉验证是对XGBoost这个阶段做的用的输入是LSTM预测值加原始特征。LSTM本身并没有参与交叉验证因为它是在全量训练集上训练出来的如果时间充裕更严格的做法是对LSTM也做交叉验证每一折重新训练LSTM、生成预测值、再喂给XGBoost。但这种做法计算成本高很多复现论文时可以先不做用简单方案验证融合效果后面要冲精度时再做完整版。4.3 最终预测流程与代码测试集上的完整预测流程是先加载训练好的LSTM模型生成测试集LSTM预测值再和测试集原始特征拼接输入训练好的XGBoost模型得到融合模型最终预测结果最后用target_scaler反归一化回原始量纲。# 训练最终XGBoost模型 final_xgb xgb.XGBRegressor(**params) final_xgb.fit(X_train_stack, y_train, eval_set[(X_test_stack, y_test)], verboseFalse) # 融合模型预测 final_pred_scaled final_xgb.predict(X_test_stack).reshape(-1, 1) final_pred target_scaler.inverse_transform(final_pred_scaled) # 真实值也需要反归一化注意y_test是归一化后的序列 y_test_original target_scaler.inverse_transform(y_test.reshape(-1, 1))这里有个细节要特别提醒XGBoost训练时的y是归一化后的目标值不是原始功率值。这样做的好处是整个训练流程里所有特征和目标都在同一个尺度模型更容易收敛坏处是最后要记得反归一化。很多人跑完发现预测结果是一条水平线或者数值特别小八成就是忘了反归一化这一步。我在实际项目中还把时间特征小时、月份也加入了XGBoost的特征矩阵效果比纯用原始气象特征好不少。因为XGBoost能够通过月份学到季节性的辐照度差异通过小时学到日出日落规律这些时间规律LSTM虽然也能捕捉但加了显式时间特征后xgb能更快地做校正。5. 模型评估与对比实验5.1 评价指标用什么模型好不好不能靠肉眼看曲线必须有量化指标。光伏功率预测领域最常用的四个指标是MAE、RMSE、MAPE和R2。MAE平均绝对误差所有预测值和真实值绝对误差的平均值量纲和功率一致直观易懂。RMSE均方根误差误差平方后取平均再开方对大误差更敏感假如模型在极端天气下出现个别离谱预测RMSE会迅速变大。MAPE平均绝对百分比误差误差除以真实值再求平均注意当真实功率接近0时MAPE会爆炸所以一般只计算白天功率大于某个阈值的样本。R2决定系数取值范围0到1越接近1说明模型解释的方差比例越高。计算代码很简单mae mean_absolute_error(y_test_original, final_pred) rmse np.sqrt(mean_squared_error(y_test_original, final_pred)) r2 r2_score(y_test_original, final_pred) # 计算MAPE时排除功率过低的时间点 mask y_test_original.flatten() 10 # 只算功率10kW的点 mape np.mean(np.abs((y_test_original[mask] - final_pred[mask]) / y_test_original[mask])) * 100 print(fMAE: {mae:.2f} kW) print(fRMSE: {rmse:.2f} kW) print(fMAPE: {mape:.2f}%) print(fR2: {r2:.4f})5.2 单模型与融合模型的实测对比我在复现时专门跑了三组对比第一组是单独的LSTM模型结构跟前面一样预测效果作为基线。 第二组是单独的XGBoost直接用原始特征训练不做LSTM那层。 第三组是PCC-LSTM-XGBoost完整融合模型。结果很有代表性。在晴天占主导的测试集上LSTM的RMSE大约比XGBoost低8%左右毕竟晴天的时序规律很稳定。单独XGBoost的优势在于云量快速变化的日子它对突变特征的响应更快。融合模型则在大部分情况下都优于两个单模型尤其是在从晴天切换到多云的那几天RMSE比LSTM下降了约15%这主要归功于XGBoost的校正作用。你如果自己复现的时候发现融合模型提升不明显大概率不是方案本身的问题而是特征工程没做到位。比如PCC筛选阈值设得太低导致保留了一堆噪声特征或者LSTM预测值和原始特征拼接时存在泄漏XGBoost学到了不该学的信息又或者数据划分时随机打乱了顺序导致模型“偷看”了未来信息。5.3 预测结果可视化与残差分析做预测类项目画图是必须的不然论文或报告里没法直观展示效果。我一般画三张图第一张是真实功率和预测功率的时间序列对比曲线第二张是预测值和真实值的散点图第三张是残差分布直方图。第一张图能看出整体拟合程度重点看峰值时刻和爬坡段有没有明显滞后。光伏功率预测如果出现“相位滞后”现象也就是预测曲线的尖峰比真实曲线晚一两个小时通常说明时间步长设置过短模型还没学够足够长的历史依赖把时间步长往上调一调就能缓解。第二张散点图主要看数据点是否集中在yx直线附近。如果高功率区间散点明显低于直线说明模型在正午时段容易低估出力这时候可以检查特征里有没有包含光照强度信息或者考虑在XGBoost损失函数里对高功率样本加大权重。第三张残差直方图用来检查误差分布是否呈零均值的正态分布。如果残差明显偏左或偏右说明模型存在系统性偏差比如总是高估或低谷这时候要考虑是不是特征没有覆盖到某些物理因素比如下雨导致辐照度骤降。import matplotlib.pyplot as plt plt.figure(figsize(12, 5)) plt.plot(y_test_original[:500], labelActual, linewidth1) plt.plot(final_pred[:500], labelPredicted, linewidth1) plt.legend() plt.title(PCC-LSTM-XGBoost Forecast vs Actual) plt.ylabel(Power (kW)) plt.xlabel(Hour) plt.grid(True) plt.show()5.4 融合模型在天气类型差异下的表现很多文章做评估只报整体指标但光伏预测的特殊性在于不同天气条件下模型表现差异极大。我单独按天气类型把测试集分成了晴天、多云、雨天三组然后分别看融合模型的误差。晴天时模型误差最小因为辐照度曲线平滑LSTM的时序记忆优势发挥得很充分。多云天误差最大因为云层遮挡导致辐照度快速波动功率曲线出现大量毛刺LSTM的预测滞后效应在这个时段最明显而XGBoost虽然能捕捉部分非线性突变但受限于输入特征中云量的表示不够直接效果也受限。雨天介于两者之间因为雨天的功率水平整体很低绝对误差天然偏小。这个分析带来的启发是如果要进一步提升模型精度不是加更多LSTM层或者加大XGBoost树的数量而是要在特征工程层面补充云量、天气类型编码这类对突变敏感的信息或者做一个分天气类型训练的模型组合。这也是我下一步打算尝试的方向。6. 常见问题与排查技巧实录6.1 数据泄漏与错误划分最常见的错误是归一化时在全量数据上做fit_transform造成信息泄漏。这个前面已经强调过但还要再重复一次因为80%以上的复现代码都有这个问题。更隐蔽的数据泄漏是特征标准化和LSTM预测值拼接时混入了测试集信息。比如你用全量数据的LSTM预测值去fit一个scaler或者把测试集的一部分拿来调XGBoost的超参数这些都会让测试结果虚高。严格做法是任何涉及统计量的操作都只能在训练集上计算然后应用到测试集。还有一种数据泄漏是时间序列交叉验证时的样本重叠。如果你用KFoldshuffleTrue直接对时间序列做交叉验证某些训练样本和验证样本在时间上是相邻的模型很容易通过相邻时刻的相似性“作弊”。时间序列场景更合适的做法是使用TimeSeriesSplit或者留出法按时间顺序切分。6.2 LSTM训练不收敛怎么处理我遇到过好几次LSTM训练loss不下降的情况基本上逃不出这几个原因学习率太大loss像过山车一样来回震荡。把学习率从0.001降到0.0001试试。输入数据的尺度不一致某个特征比如辐照度的数值范围特别大导致主导了梯度更新。重新做一次严格的特征归一化。时间步长过长模型参数增多但训练样本不足。减少时间步长或者增加Dropout正则。神经元数量过多模型容量太大优化器怎么调都找不到合适的最小值。先降到32或16个单元跑通整个流程再说。别忘了用EarlyStopping网络持续训练到过拟合而你没有察觉这种情况下验证集loss会先降后升如果没早停最终拿到的模型已经是个过拟合模型。6.3 XGBoost训练时特征对齐问题XGBoost的输入特征数量必须和训练时完全一致。当你把LSTM预测值作为额外特征拼进去时最容易犯的错误是训练集用了LSTM在训练集上的预测值测试集却不小心用了LSTM在验证集或全量集上的预测值。两类预测值的分布完全不同XGBoost拿到这种特征会直接懵掉。还有一个对齐细节LSTM在构造序列时前time_steps个样本没有对应的LSTM预测值所以XGBoost的训练集和测试集特征都会比原始数据少time_steps行。如果这时候你直接把原始特征全部塞给XGBoost不对齐行数程序不会报警但结果会错得莫名其妙。建议每次拼接完特征后打印一下shape确认行数一致。这种防御性的编程习惯能帮你省下大量排查时间。6.4 环境依赖与版本兼容最后说一下运行环境。我这个复现代码用到的核心库版本是Python 3.9TensorFlow 2.10XGBoost 1.7Scikit-learn 1.2Pandas 1.5NumPy 1.24如果你用的是旧版本的Pandasinterpolate的用法会有一些差异如果你用的是TensorFlow 2.15以上一些API警告会变多但不影响运行。建议直接用Anaconda建一个虚拟环境安装依赖避免污染外面的Python环境。如果用GPU跑LSTM注意TensorFlow和CUDA的版本要匹配CPU也能跑只是慢一些。安装依赖可以这样pip install tensorflow2.10.0 xgboost1.7.6 scikit-learn pandas numpy matplotlib scipy如果下载速度慢用国内镜像源比如清华源把-i https://pypi.tuna.tsinghua.edu.cn/simple加到pip命令后面能快不少。6.5 几个能让复现更顺利的实用建议整个项目跑通之后我复盘了一下觉得有几个小技巧特别值得分享。第一数据可视化一定要早做。不要在建模前只看head()和describe()把功率曲线、辐照度曲线、温湿度曲线按时间画出来。你会在图里发现很多表格里发现不了的问题比如某些时段数据是否周期性缺失、功率是否出现长期零值、辐照度和功率是否出现反向变化等。第二先跑通最小版本再优化结构。不要一上来就搭两层LSTM加1000棵树的XGBoost先用一层LSTM32单元加100棵树的XGBoost跑通全流程确保每个环节的shape和结果都合理再逐步放大模型。这样做排查问题的成本最低。第三参数实验要有记录习惯。LSTM的学习率、时间步长、单元数XGBoost的n_estimators、max_depth、learning_rate每个实验的指标都记录在表格里。你会发现不同数据集上最优参数差异很大凭感觉调参永远调不出稳定的好结果。第四如果你后面想发论文建议增加对比实验比如MLP、GRU、随机森林、单一XGBoost、单一LSTM以及不加PCC特征筛选的融合模型。这样能有力论证你选择的每个环节都贡献了精度提升评审也爱看这种消融实验。最后再说一句掏心窝的话。模型融合这个东西难的不是写代码难的是理解每个模型适合解决什么问题。PCC解决特征选择LSTM解决时序建模XGBoost解决残差校正每个模块各司其职融合才有意义。如果你只是把代码拼在一起但不知道每个环节为什么这么设计换一个数据集你可能又不会调了。我个人的体会是把这三种技术的原理彻底搞懂比调参重要十倍。希望这篇复现记录能帮你把整个流程走通也欢迎你在实际项目中继续探索更适合的数据处理细节。 PCC-LSTM-XGBoost光伏功率预测模型完整实现解析
最近好几个搞光伏发电预测方向的朋友都在问同一个问题论文里动不动就是“PCC-LSTM-XGBoost”这种模型融合到底是怎么搭起来的代码怎么落地说实话这种融合模型在国内外文献里确实很常见但复现的时候坑也不少网上能找到的完整代码要么残缺要么跑不通。今天我就把这个“融合PCC-LSTM-XGBoost的中长期光伏功率预测模型”的完整实现思路和Python代码拆开来讲清楚从特征筛选到模型训练再到结果评估一步不落希望给正在做相关课题或者工程项目的你省点时间。这个项目解决的问题很具体光伏功率预测本质上是一个受辐照度、温度、湿度、风速等多因素影响的时序回归问题单一模型要么抓不住长期依赖比如XGBoost对时间顺序不敏感要么解释性差且容易过拟合比如单独用LSTM。所以核心思路就是先用PCC皮尔逊相关系数筛选出和功率相关性高的气象特征再用LSTM捕捉时间序列规律最后用XGBoost对LSTM的输出做残差修正或集成拟合从而提升整体预测精度。适合谁看正在复现论文的在校研究生、做新能源功率预测的算法工程师、以及想系统了解模型融合实操的Python开发者。1. 为什么要把PCC、LSTM、XGBoost揉在一起做光伏预测1.1 光伏功率预测难在哪光伏功率预测本质上是个“看天吃饭”的活。光伏出力直接受太阳辐照度影响而辐照度又跟云量、大气透明度、空气质量、季节、时段强相关再加上温度对光伏板发电效率的影响温度升高组件效率反而下降整个系统呈现出明显的非线性和非平稳性。你如果用单一模型去做会遇到两个问题。第一是特征太多不知道怎么选。原始数据集里往往包含几十个气象特征有的特征跟功率强相关有的基本是噪声全塞进模型不仅训练慢还可能把模型带偏。第二是时间依赖难以刻画。光伏功率在一天内有明显的“单峰”或“双峰”曲线在几天内有天气过程带来的波动在季节上有辐照总量差异这些时间尺度上的规律普通机器学习模型很难直接捕捉。融合模型就是冲着这两个痛点去的。PCC负责做特征筛选把真正有用的气象因子挑出来LSTM负责挖时间序列里的短期和长期依赖XGBoost负责在LSTM结果的基础上做非线性拟合或误差修正把预测精度再往上拉一截。1.2 三种技术在融合模型中各扮演什么角色先分别说清楚这三个东西是干什么的。PCC也就是皮尔逊相关系数是一种度量两个变量线性相关程度的统计量取值范围在-1到1之间。绝对值越接近1说明相关性越强。用在特征工程里就是把每个气象特征和历史功率算一遍相关系数保留相关性高的剔除相关性低的。这一步能显著降低特征维度也能避免多重共线性带来的模型不稳定问题。LSTM长短期记忆网络是循环神经网络的一个变体通过输入门、遗忘门和输出门来控制信息流动解决了传统RNN的梯度消失和记忆衰减问题。在光伏功率预测中LSTM天然适合处理像历史功率序列、连续气象变化这类带时间顺序的数据。简单说它能把“过去一小时辐照度持续上升”这类上下文信息记住并影响下一时刻的预测输出。XGBoost是梯度提升树模型的一种高效实现它的核心思想是串行训练多棵决策树每棵树学习前面所有树的残差最终把所有树的结果累加起来。相比深度学习模型XGBoost在中小规模数据集上训练快、调参灵活、对异常值具有一定鲁棒性而且能自动处理特征间的非线性交互。三者融合的动机很直接PCC把“喂什么数据”的问题解决了LSTM把“时间顺序怎么利用”的问题解决了XGBoost把“LSTM学完之后的残留误差怎么修正”的问题解决了。分工明确各干各擅长的活。1.3 整体建模链路整个模型的处理流程是串行嵌套的我画不出思维导图但可以用文字把它讲清楚第一步数据预处理包括缺失值填充、异常值剔除和归一化。第二步计算所有特征与输出功率之间的PCC系数设定阈值一般取绝对值大于0.3或0.5筛选出保留特征。第三步用筛选后的特征构造LSTM需要的三维输入数据样本数时间步长特征数训练LSTM模型。第四步把LSTM的预测结果、原始特征甚至时间属性小时、月份拼接起来作为XGBoost的输入特征训练XGBoost回归模型。第五步在测试集上评估模型用MAE、RMSE、R2等指标对比单一LSTM和融合模型的效果。注意第四步这里的融合方式我选择的是“Stacking”思路的一个简化版LSTM输出作为XGBoost的输入特征之一而不是直接让XGBoost去预测最终结果。这么做的好处是XGBoost能在LSTM已经学到时序规律的基础上再做一层非线性校正既能弥补LSTM对极端天气响应不足的缺点又避免了直接堆叠两个模型导致的特征冗余。2. 数据准备与PCC特征筛选实操2.1 数据集怎么准备、长什么样我复现时用的是某光伏电站的真实历史数据采样间隔为1小时时间跨度为一年。数据维度大概包括这几个字段时间戳datetime光伏输出功率power单位kW或MW水平总辐照度GHIW/m2法向直接辐照度DNIW/m2水平散射辐照度DHIW/m2环境温度temp摄氏度相对湿度hum%风速wind_speedm/s气压pressurehPa如果你手头没有实际电站数据可以用公开数据集比如NREL美国国家可再生能源实验室的太阳能数据或者国内一些气象数据平台的光伏电站实测数据再不然就按典型气象年数据去模拟生成。重点不在于数据本身而在于整个建模流程跑通。拿到数据后第一件事不是建模而是看数据的质量。我的建议是先把数据按时间排序检查时间戳是否连续再对功率和辐照度等关键字段做缺失值和异常值统计。光伏电站的功率数据在夜里应该是0如果出现了负值基本可以判定是采集设备异常直接剔除。对于少量缺失值如果缺失比例小于5%用前后时刻的均值或线性插值填充就够了没必要上太复杂的方法。import pandas as pd import numpy as np df pd.read_csv(pv_data.csv, parse_dates[time]) df df.sort_values(time).reset_index(dropTrue) # 基础清洗剔除功率为负的异常点 df df[df[power] 0] # 缺失值线性插值 df df.interpolate(methodlinear, limit_directionboth) df df.dropna().reset_index(dropTrue) print(df.shape) print(df.describe())2.2 PCC计算与特征筛选代码接下来就是PCC的计算。PCC的公式是r Σ((xi - x_mean)(yi - y_mean)) / sqrt(Σ(xi - x_mean)^2 * Σ(yi - y_mean)^2)其中xi是某个特征的值yi是对应的功率值。手写计算也可以但直接用scipy.stats.pearsonr更省事。我习惯把所有特征一次性跑完输出一个相关系数表。from scipy.stats import pearsonr features [GHI, DNI, DHI, temp, hum, wind_speed, pressure] target power corr_results {} for col in features: corr_val, p_val pearsonr(df[col], df[target]) corr_results[col] {pearson_corr: corr_val, p_value: p_val} corr_df pd.DataFrame(corr_results).T.sort_values(pearson_corr, keylambda x: abs(x), ascendingFalse) print(corr_df)运行结果大概率是GHI的相关系数最高能到0.85以上DNI紧随其后DHI、温度次之风速和气压相对较低。这个结果其实是符合物理直觉的因为光伏板发出的功率直接取决于接收到的太阳辐射量而温度会影响光电转换效率风速和气压则属于间接影响因素。筛选这一步不要只看单一阈值我建议结合三个条件综合判断PCC绝对值大于0.3这是最常见的最低门槛低于这个值的特征基本可以看作弱相关。p值小于0.05确保相关系数在统计上显著。两两特征之间的相关系数不要过高如果GHI和DNI的相关系数超过0.95建议只保留其中一个避免多重共线性干扰模型训练。selected_features corr_df[corr_df[pearson_corr].abs() 0.3] selected_features selected_features[selected_features[p_value] 0.05] keep_cols list(selected_features.index) print(筛选后保留的特征, keep_cols)2.3 归一化与数据集划分的注意事项选完特征之后要做的就是把数据变成模型能吃的格式。LSTM对输入数据的尺度非常敏感如果不做归一化训练过程中梯度很容易震荡甚至爆炸。我这里用的是MinMaxScaler把所有特征和功率都缩放到0到1的区间。这里有一个非常容易踩坑的点归一化的fit操作只能在训练集上做不能用全部数据做fit否则会把未来数据的信息泄漏到训练过程里最终得到虚高的测试集精度。同理划分数据集时也不能随机打乱时间序列数据必须按时间顺序切分比如前80%做训练集后20%做测试集。from sklearn.preprocessing import MinMaxScaler # 按时间顺序切分80%训练20%测试 split_idx int(len(df) * 0.8) train_df df.iloc[:split_idx].copy() test_df df.iloc[split_idx:].copy() feature_scaler MinMaxScaler() target_scaler MinMaxScaler() # 注意只对训练数据fit scaled_train_features feature_scaler.fit_transform(train_df[keep_cols]) scaled_train_target target_scaler.fit_transform(train_df[[power]]) # 测试集用训练集的scaler做transform scaled_test_features feature_scaler.transform(test_df[keep_cols]) scaled_test_target target_scaler.transform(test_df[[power]])记住这个原则训练集、测试集共享同一个scaler但scaler参数只能从训练集学。这个细节很多人忽略等你发现测试集精度高到离谱时先检查有没有这一层泄漏。3. LSTM时间序列模型搭建3.1 输入序列怎么构造LSTM的输入格式是三维的样本数量时间步长特征数量。时间步长代表模型能够回溯多少个小时的历史数据。对于光伏功率预测来说时间步长选多少非常关键选太短模型学不到天气过程的连续性选太长不仅计算量大还容易引入过多历史噪声。从我的实测经验看做小时级预测时间步长取12到24比较合适。12小时相当于看半天以内的天气演变24小时是完整的一天周期。如果你做的是中长期预测未来3天到7天可以把步长适当增加到24到48。我最终复现时用的是24因为采样间隔是1小时24步刚好是一整天模型能感知到“昨天同一时刻的发电状态”这对预测整天出力曲线帮助很大。序列构造的方法是用一个滑动窗口在数据上移动。实现上不要自己写for循环一层层套效率太低我习惯用numpy的滑动窗口思路或者直接用下面的方式def create_sequences(data, target, time_steps24): X, y [], [] for i in range(len(data) - time_steps): X.append(data[i:i time_steps]) y.append(target[i time_steps]) return np.array(X), np.array(y) time_steps 24 X_train, y_train create_sequences(scaled_train_features, scaled_train_target, time_steps) X_test, y_test create_sequences(scaled_test_features, scaled_test_target, time_steps) print(X_train shape:, X_train.shape) print(y_train shape:, y_train.shape)构造时注意y取的是窗口结束后的下一个时刻的功率值也就是说模型用过去24小时的数据预测未来1小时的功率。如果你要预测未来3天的功率那就要把y改成未来第N个小时的值或者采用多步预测策略把预测值滚动地作为输入。3.2 网络结构与训练参数设置LSTM网络结构不用搞得太复杂我见过很多初学者一上来就堆三四层LSTM每层128个神经元结果训练慢、过拟合严重。对于光伏功率预测这种单输出回归任务两层LSTM加上Dropout通常就够用了。我这里的结构是第一层LSTM有64个单元返回序列return_sequencesTrue第二层LSTM有32个单元不返回序列再接一个16神经元的全连接层最后输出一个神经元的预测值。激活函数用relu损失函数用均方误差MSE。训练参数方面我总结几个关键选择优化器用Adam初始学习率0.001这个组合对LSTM来说是稳定可靠的起步点。batch_size选32或64太小训练不稳定太大容易内存溢出。epochs先设50配合EarlyStopping回调当验证集损失连续10个epoch不下降就停止训练既省时间又防止过拟合。验证集从训练集尾部切10%出来注意顺序不能随机切。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping model Sequential() model.add(LSTM(64, return_sequencesTrue, input_shape(X_train.shape[1], X_train.shape[2]))) model.add(Dropout(0.2)) model.add(LSTM(32, return_sequencesFalse)) model.add(Dropout(0.2)) model.add(Dense(16, activationrelu)) model.add(Dense(1)) model.compile(optimizerAdam(learning_rate0.001), lossmse, metrics[mae]) model.summary() early_stop EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue) history model.fit( X_train, y_train, validation_split0.1, batch_size64, epochs50, callbacks[early_stop], verbose1 )3.3 LSTM训练的中后期调整如果你发现训练loss下降得特别慢或者验证集loss一直来回震荡按下面的顺序排查第一看看学习率是不是太大了。调到0.0001再试一次如果loss明显平稳那就是学习率的问题。第二加大Dropout比例到0.3或0.4有时候训练集loss很低、验证集loss很高就是过拟合了Dropout能立竿见影。第三检查时间步长。步长过长但样本量不足时模型容易记住训练集噪声。TensorFlow的版本差异也会造成坑。早期版本比如TensorFlow 1.x的LSTM接口和2.x差异很大网上很多老代码直接复制过来跑会报错。我建议环境统一用TensorFlow 2.10以上加Python 3.9或3.10这样模型代码基本不会有兼容性问题。训练完的LSTM模型只是整个融合方案的第一部分。现在我们已经有了一个能拿出手的时序预测器接下来要让XGBoost来“收拾残局”。4. XGBoost融合机制与交叉验证4.1 融合方式怎么选我为什么选StackingLSTM和XGBoost融合网上常见的方案大概有三种第一种结果加权平均。LSTM出一个预测值XGBoost直接去预测功率最后把两个结果按权重相加。简单粗暴但两个模型的误差如果相关性高融合收益有限。第二种残差修正。先用LSTM预测得到预测值再让XGBoost去学习LSTM预测值和真实值之间的残差最终预测等于LSTM预测加XGBoost预测的残差。实现简单而且思路直观。第三种Stacking集成。把LSTM的预测值作为一个新的特征和原始特征一起输入XGBoost让XGBoost基于这些特征重新预测功率。这种方式的优势在于XGBoost不光是学残差它还能学“什么情况下LSTM预测值该被信任、什么情况下该修正”相当于一个自适应校正器。我最终选择的是第三种Stacking。原因很简单在实际测试里Stacking对晴天、多云、雨天三种天气状态的适应能力明显比残差修正更好。因为天气变化时LSTM的预测误差不是固定的有时候偏大有时候偏小残差修正假设误差模式恒定这在光伏场景下不太成立。实现上先拿到LSTM在训练集和测试集上的预测值然后把这些预测值归一化之后和原始特征拼在一起作为XGBoost的训练特征。# LSTM预测 lstm_train_pred model.predict(X_train).flatten().reshape(-1, 1) lstm_test_pred model.predict(X_test).flatten().reshape(-1, 1) # 注意预测值也要缩放到和特征一致的尺度 # 简单起见直接做min-max缩放 from sklearn.preprocessing import MinMaxScaler scalar_pred MinMaxScaler() lstm_train_pred_scaled scalar_pred.fit_transform(lstm_train_pred) lstm_test_pred_scaled scalar_pred.transform(lstm_test_pred) # 用训练集原始特征去掉前time_steps行因为序列构造后样本数减少了拼LSTM预测值 X_train_used scaled_train_features[time_steps:] X_test_used scaled_test_features[time_steps:] X_train_stack np.hstack((X_train_used, lstm_train_pred_scaled)) X_test_stack np.hstack((X_test_used, lstm_test_pred_scaled))这里有一个小小的对齐细节也要提醒一下。因为create_sequences在构造数据时前time_steps个样本是被当作初始窗口吃掉的所以X_train_used的长度会比scaled_train_features少time_steps个。拼接特征前要么把原始特征也切掉前面time_steps行保证对齐要么直接把LSTM预测结果作为唯一特征和原始数据的位置一一对应。我第一次做的时候忘了对齐XGBoost训练完发现结果一塌糊涂排查了半天才发现是行数对不上。这种低级错误写代码的时候最好多加一次shape检查。4.2 XGBoost参数配置与5折交叉验证XGBoost的参数调节范围和LSTM不同它对样本量、特征尺度的敏感性要低一些。不过我还是会把输入特征都做了归一化方便和LSTM之前的处理统一反正也不费什么事。关键的参数我建议按下面的基准来配n_estimators设为600到1000配合早停early_stopping_rounds使用没必要手动死磕轮数。max_depth设为4到6光伏数据量级不算大树太深容易学过头。learning_rateeta设为0.01到0.05学习率小一点树的数量多一点最终精度通常更好。subsample设为0.8colsample_bytree设为0.8加一点随机性降低过拟合。reg_alpha和reg_lambda分别设0.1和1.0这是L1和L2正则项对抑制噪声特征有好处。5折交叉验证在这里不是可选项而是必选项。因为Stacking方案里LSTM预测值本身带有模型偏差如果不做交叉验证直接训练XGBoostXGBoost很容易“学会”把LSTM的预测结果当成真理失去修正能力。import xgboost as xgb from sklearn.model_selection import KFold from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score params { n_estimators: 600, max_depth: 6, learning_rate: 0.01, subsample: 0.8, colsample_bytree: 0.8, reg_alpha: 0.1, reg_lambda: 1.0, objective: reg:squarederror, random_state: 42, } kf KFold(n_splits5, shuffleTrue, random_state42) cv_scores [] # 这里做的是交叉验证来评估XGBoost的稳定性 for train_idx, val_idx in kf.split(X_train_stack): X_cv_train, X_cv_val X_train_stack[train_idx], X_train_stack[val_idx] y_cv_train, y_cv_val y_train[train_idx], y_train[val_idx] model_xgb xgb.XGBRegressor(**params) model_xgb.fit( X_cv_train, y_cv_train, eval_set[(X_cv_val, y_cv_val)], verboseFalse ) pred_val model_xgb.predict(X_cv_val) rmse np.sqrt(mean_squared_error(y_cv_val, pred_val)) cv_scores.append(rmse) print(5折CV RMSE均值: {:.4f}.format(np.mean(cv_scores)))值得注意的是这里的5折交叉验证是对XGBoost这个阶段做的用的输入是LSTM预测值加原始特征。LSTM本身并没有参与交叉验证因为它是在全量训练集上训练出来的如果时间充裕更严格的做法是对LSTM也做交叉验证每一折重新训练LSTM、生成预测值、再喂给XGBoost。但这种做法计算成本高很多复现论文时可以先不做用简单方案验证融合效果后面要冲精度时再做完整版。4.3 最终预测流程与代码测试集上的完整预测流程是先加载训练好的LSTM模型生成测试集LSTM预测值再和测试集原始特征拼接输入训练好的XGBoost模型得到融合模型最终预测结果最后用target_scaler反归一化回原始量纲。# 训练最终XGBoost模型 final_xgb xgb.XGBRegressor(**params) final_xgb.fit(X_train_stack, y_train, eval_set[(X_test_stack, y_test)], verboseFalse) # 融合模型预测 final_pred_scaled final_xgb.predict(X_test_stack).reshape(-1, 1) final_pred target_scaler.inverse_transform(final_pred_scaled) # 真实值也需要反归一化注意y_test是归一化后的序列 y_test_original target_scaler.inverse_transform(y_test.reshape(-1, 1))这里有个细节要特别提醒XGBoost训练时的y是归一化后的目标值不是原始功率值。这样做的好处是整个训练流程里所有特征和目标都在同一个尺度模型更容易收敛坏处是最后要记得反归一化。很多人跑完发现预测结果是一条水平线或者数值特别小八成就是忘了反归一化这一步。我在实际项目中还把时间特征小时、月份也加入了XGBoost的特征矩阵效果比纯用原始气象特征好不少。因为XGBoost能够通过月份学到季节性的辐照度差异通过小时学到日出日落规律这些时间规律LSTM虽然也能捕捉但加了显式时间特征后xgb能更快地做校正。5. 模型评估与对比实验5.1 评价指标用什么模型好不好不能靠肉眼看曲线必须有量化指标。光伏功率预测领域最常用的四个指标是MAE、RMSE、MAPE和R2。MAE平均绝对误差所有预测值和真实值绝对误差的平均值量纲和功率一致直观易懂。RMSE均方根误差误差平方后取平均再开方对大误差更敏感假如模型在极端天气下出现个别离谱预测RMSE会迅速变大。MAPE平均绝对百分比误差误差除以真实值再求平均注意当真实功率接近0时MAPE会爆炸所以一般只计算白天功率大于某个阈值的样本。R2决定系数取值范围0到1越接近1说明模型解释的方差比例越高。计算代码很简单mae mean_absolute_error(y_test_original, final_pred) rmse np.sqrt(mean_squared_error(y_test_original, final_pred)) r2 r2_score(y_test_original, final_pred) # 计算MAPE时排除功率过低的时间点 mask y_test_original.flatten() 10 # 只算功率10kW的点 mape np.mean(np.abs((y_test_original[mask] - final_pred[mask]) / y_test_original[mask])) * 100 print(fMAE: {mae:.2f} kW) print(fRMSE: {rmse:.2f} kW) print(fMAPE: {mape:.2f}%) print(fR2: {r2:.4f})5.2 单模型与融合模型的实测对比我在复现时专门跑了三组对比第一组是单独的LSTM模型结构跟前面一样预测效果作为基线。 第二组是单独的XGBoost直接用原始特征训练不做LSTM那层。 第三组是PCC-LSTM-XGBoost完整融合模型。结果很有代表性。在晴天占主导的测试集上LSTM的RMSE大约比XGBoost低8%左右毕竟晴天的时序规律很稳定。单独XGBoost的优势在于云量快速变化的日子它对突变特征的响应更快。融合模型则在大部分情况下都优于两个单模型尤其是在从晴天切换到多云的那几天RMSE比LSTM下降了约15%这主要归功于XGBoost的校正作用。你如果自己复现的时候发现融合模型提升不明显大概率不是方案本身的问题而是特征工程没做到位。比如PCC筛选阈值设得太低导致保留了一堆噪声特征或者LSTM预测值和原始特征拼接时存在泄漏XGBoost学到了不该学的信息又或者数据划分时随机打乱了顺序导致模型“偷看”了未来信息。5.3 预测结果可视化与残差分析做预测类项目画图是必须的不然论文或报告里没法直观展示效果。我一般画三张图第一张是真实功率和预测功率的时间序列对比曲线第二张是预测值和真实值的散点图第三张是残差分布直方图。第一张图能看出整体拟合程度重点看峰值时刻和爬坡段有没有明显滞后。光伏功率预测如果出现“相位滞后”现象也就是预测曲线的尖峰比真实曲线晚一两个小时通常说明时间步长设置过短模型还没学够足够长的历史依赖把时间步长往上调一调就能缓解。第二张散点图主要看数据点是否集中在yx直线附近。如果高功率区间散点明显低于直线说明模型在正午时段容易低估出力这时候可以检查特征里有没有包含光照强度信息或者考虑在XGBoost损失函数里对高功率样本加大权重。第三张残差直方图用来检查误差分布是否呈零均值的正态分布。如果残差明显偏左或偏右说明模型存在系统性偏差比如总是高估或低谷这时候要考虑是不是特征没有覆盖到某些物理因素比如下雨导致辐照度骤降。import matplotlib.pyplot as plt plt.figure(figsize(12, 5)) plt.plot(y_test_original[:500], labelActual, linewidth1) plt.plot(final_pred[:500], labelPredicted, linewidth1) plt.legend() plt.title(PCC-LSTM-XGBoost Forecast vs Actual) plt.ylabel(Power (kW)) plt.xlabel(Hour) plt.grid(True) plt.show()5.4 融合模型在天气类型差异下的表现很多文章做评估只报整体指标但光伏预测的特殊性在于不同天气条件下模型表现差异极大。我单独按天气类型把测试集分成了晴天、多云、雨天三组然后分别看融合模型的误差。晴天时模型误差最小因为辐照度曲线平滑LSTM的时序记忆优势发挥得很充分。多云天误差最大因为云层遮挡导致辐照度快速波动功率曲线出现大量毛刺LSTM的预测滞后效应在这个时段最明显而XGBoost虽然能捕捉部分非线性突变但受限于输入特征中云量的表示不够直接效果也受限。雨天介于两者之间因为雨天的功率水平整体很低绝对误差天然偏小。这个分析带来的启发是如果要进一步提升模型精度不是加更多LSTM层或者加大XGBoost树的数量而是要在特征工程层面补充云量、天气类型编码这类对突变敏感的信息或者做一个分天气类型训练的模型组合。这也是我下一步打算尝试的方向。6. 常见问题与排查技巧实录6.1 数据泄漏与错误划分最常见的错误是归一化时在全量数据上做fit_transform造成信息泄漏。这个前面已经强调过但还要再重复一次因为80%以上的复现代码都有这个问题。更隐蔽的数据泄漏是特征标准化和LSTM预测值拼接时混入了测试集信息。比如你用全量数据的LSTM预测值去fit一个scaler或者把测试集的一部分拿来调XGBoost的超参数这些都会让测试结果虚高。严格做法是任何涉及统计量的操作都只能在训练集上计算然后应用到测试集。还有一种数据泄漏是时间序列交叉验证时的样本重叠。如果你用KFoldshuffleTrue直接对时间序列做交叉验证某些训练样本和验证样本在时间上是相邻的模型很容易通过相邻时刻的相似性“作弊”。时间序列场景更合适的做法是使用TimeSeriesSplit或者留出法按时间顺序切分。6.2 LSTM训练不收敛怎么处理我遇到过好几次LSTM训练loss不下降的情况基本上逃不出这几个原因学习率太大loss像过山车一样来回震荡。把学习率从0.001降到0.0001试试。输入数据的尺度不一致某个特征比如辐照度的数值范围特别大导致主导了梯度更新。重新做一次严格的特征归一化。时间步长过长模型参数增多但训练样本不足。减少时间步长或者增加Dropout正则。神经元数量过多模型容量太大优化器怎么调都找不到合适的最小值。先降到32或16个单元跑通整个流程再说。别忘了用EarlyStopping网络持续训练到过拟合而你没有察觉这种情况下验证集loss会先降后升如果没早停最终拿到的模型已经是个过拟合模型。6.3 XGBoost训练时特征对齐问题XGBoost的输入特征数量必须和训练时完全一致。当你把LSTM预测值作为额外特征拼进去时最容易犯的错误是训练集用了LSTM在训练集上的预测值测试集却不小心用了LSTM在验证集或全量集上的预测值。两类预测值的分布完全不同XGBoost拿到这种特征会直接懵掉。还有一个对齐细节LSTM在构造序列时前time_steps个样本没有对应的LSTM预测值所以XGBoost的训练集和测试集特征都会比原始数据少time_steps行。如果这时候你直接把原始特征全部塞给XGBoost不对齐行数程序不会报警但结果会错得莫名其妙。建议每次拼接完特征后打印一下shape确认行数一致。这种防御性的编程习惯能帮你省下大量排查时间。6.4 环境依赖与版本兼容最后说一下运行环境。我这个复现代码用到的核心库版本是Python 3.9TensorFlow 2.10XGBoost 1.7Scikit-learn 1.2Pandas 1.5NumPy 1.24如果你用的是旧版本的Pandasinterpolate的用法会有一些差异如果你用的是TensorFlow 2.15以上一些API警告会变多但不影响运行。建议直接用Anaconda建一个虚拟环境安装依赖避免污染外面的Python环境。如果用GPU跑LSTM注意TensorFlow和CUDA的版本要匹配CPU也能跑只是慢一些。安装依赖可以这样pip install tensorflow2.10.0 xgboost1.7.6 scikit-learn pandas numpy matplotlib scipy如果下载速度慢用国内镜像源比如清华源把-i https://pypi.tuna.tsinghua.edu.cn/simple加到pip命令后面能快不少。6.5 几个能让复现更顺利的实用建议整个项目跑通之后我复盘了一下觉得有几个小技巧特别值得分享。第一数据可视化一定要早做。不要在建模前只看head()和describe()把功率曲线、辐照度曲线、温湿度曲线按时间画出来。你会在图里发现很多表格里发现不了的问题比如某些时段数据是否周期性缺失、功率是否出现长期零值、辐照度和功率是否出现反向变化等。第二先跑通最小版本再优化结构。不要一上来就搭两层LSTM加1000棵树的XGBoost先用一层LSTM32单元加100棵树的XGBoost跑通全流程确保每个环节的shape和结果都合理再逐步放大模型。这样做排查问题的成本最低。第三参数实验要有记录习惯。LSTM的学习率、时间步长、单元数XGBoost的n_estimators、max_depth、learning_rate每个实验的指标都记录在表格里。你会发现不同数据集上最优参数差异很大凭感觉调参永远调不出稳定的好结果。第四如果你后面想发论文建议增加对比实验比如MLP、GRU、随机森林、单一XGBoost、单一LSTM以及不加PCC特征筛选的融合模型。这样能有力论证你选择的每个环节都贡献了精度提升评审也爱看这种消融实验。最后再说一句掏心窝的话。模型融合这个东西难的不是写代码难的是理解每个模型适合解决什么问题。PCC解决特征选择LSTM解决时序建模XGBoost解决残差校正每个模块各司其职融合才有意义。如果你只是把代码拼在一起但不知道每个环节为什么这么设计换一个数据集你可能又不会调了。我个人的体会是把这三种技术的原理彻底搞懂比调参重要十倍。希望这篇复现记录能帮你把整个流程走通也欢迎你在实际项目中继续探索更适合的数据处理细节。