1. 项目概述数据清洗中的“硬骨头”搞数学建模的朋友尤其是参加过国赛、美赛的应该都深有体会拿到手的数据十有八九不是“完美”的。你兴冲冲地打开数据集准备大展拳脚结果发现一堆“NaN”缺失值和那些看起来“离谱”到不像话的数字异常值。这感觉就像准备做一桌满汉全席却发现食材里混着烂叶子和怪味调料。不把这些处理干净后面无论你用多高级的算法建多复杂的模型结果都可能南辕北辙甚至得出完全错误的结论。所以我把数据清洗中的缺失值和异常值处理称为建模前的“攻坚战”一点不为过。“备战数学建模42-缺失值和异常值的处理方法(攻坚战6)”这个标题精准地戳中了数学建模特别是限时竞赛中的核心痛点。它不是一个泛泛而谈的数据分析教程而是带有强烈实战和应急色彩的“战备指南”。这里的“42”可能是一个系列编号暗示了系统性的准备“攻坚战6”则突出了其在整体流程中的关键和困难程度。本文将围绕数学建模竞赛的场景深入拆解面对缺失值和异常值时一名合格的参赛者应该如何思考、如何选择、如何操作。我们会从最基础的原理讲起但重点会放在那些“什么时候该用什么方法”、“不同方法背后的代价是什么”、“竞赛中如何快速决策”等实战经验上。无论你是初次参赛的小白还是想优化自己数据预处理流程的老手这里都有你能直接“抄作业”的干货。2. 核心思路理解“脏数据”的本质与处理哲学处理缺失值和异常值第一步不是急着找方法而是先理解它们为什么会出现以及我们处理它们的根本目的。这决定了后续所有方法的选择。2.1 缺失值的成因与类型分析缺失值不是凭空产生的它的背后有逻辑。在数学建模竞赛中数据来源五花八门可能是爬取的网络数据、官方发布的统计年鉴、传感器采集的时序数据等。理解成因才能判断缺失是“完全随机”的还是带有某种模式的。完全随机缺失数据缺失的概率与任何已观测或未观测的变量都无关。例如调查问卷中某个受访者因为笔误漏填了年龄。这是处理起来最“友好”的情况因为缺失本身不携带系统性偏差信息。随机缺失数据缺失的概率与已观测的其他变量有关但与未观测的缺失值本身无关。例如一项健康调查中收入较高的人群更可能拒绝透露具体收入但“拒绝透露”这个行为与他们的真实收入高低无关只与“收入高”这个已观测属性有关。这种情况尚可处理。非随机缺失数据缺失的概率与缺失值本身有关。这是最棘手的情况。例如在心理量表中抑郁程度极高的患者可能更不愿意填写关于自杀倾向的题目。此时缺失本身就包含了重要信息高抑郁得分直接删除或简单填补都会引入严重偏差。在竞赛的有限时间内我们很难对缺失机制做严格的统计检验。但一个实用的技巧是快速进行探索性数据分析。将数据按是否有缺失分为两组比较这两组在其他特征上的分布是否有显著差异。如果有就要高度警惕非随机缺失的可能性。2.2 异常值的界定是“错误”还是“珍宝”异常值比缺失值更微妙。一个偏离主流的数据点可能是数据录入或采集错误比如身高记录为2.8米单位是米这显然是错误需要纠正或删除。测量误差传感器瞬时故障产生的脉冲噪声。真实的极端情况在金融数据中某天的股价暴跌可能就是“黑天鹅”事件在电商数据中某个用户的巨额消费可能是企业采购。这些是真实且有价值的信息甚至可能是我们模型需要捕捉的重点。因此处理异常值的首要原则是先调查后处理。不要一看到“异常”就删除。在建模竞赛中如果题目背景暗示了极端事件的重要性如“预测极端气候”、“识别欺诈交易”那么这些“异常值”恰恰是模型需要学习的核心模式。2.3 处理的核心目标与权衡我们处理这两类问题根本目标是为后续的建模算法提供一个“干净”、“可靠”的数据基础。具体来说减少偏差避免因不当处理如直接删除非随机缺失样本导致模型学到错误的关系。提高效率保证算法特别是许多对异常值敏感的模型如线性回归、K均值聚类能够稳定收敛得到可靠的结果。保持信息在剔除错误的同时尽可能保留数据集中的真实变异信息尤其是那些可能有特殊意义的“异常”信息。这中间永远存在权衡填补缺失值可能引入噪声删除异常值可能损失重要信息。我们的任务就是在竞赛的有限时间和算力下做出最合理的折中。3. 缺失值处理从简单删除到高级填补面对缺失值我们有一整套从简到繁的工具箱。选择哪种取决于缺失比例、缺失机制、变量类型以及我们的时间成本。3.1 直接删除法快速但危险的策略这是最直接的方法包括删除含有缺失值的样本或删除缺失率过高的特征。何时使用缺失比例极低例如5%且样本量足够大删除后对总体分布影响可忽略。经过初步分析高度怀疑为非随机缺失且无法找到合理的填补依据此时保留可能比删除危害更大。在特征选择阶段某个特征的缺失率过高如40%直接考虑删除该特征。操作与代码示例Python pandasimport pandas as pd import numpy as np # 假设 df 是我们的DataFrame # 1. 删除任何包含缺失值的行 df_drop_rows df.dropna() # 2. 删除缺失值超过一定比例的行例如一行中缺失值超过50% threshold len(df.columns) * 0.5 df_drop_rows_threshold df.dropna(threshthreshold) # 3. 删除缺失率过高的列例如一列中缺失值超过30% missing_col_ratio df.isnull().mean() cols_to_drop missing_col_ratio[missing_col_ratio 0.3].index df_drop_cols df.drop(columnscols_to_drop)实战心得与坑点注意这是竞赛中最容易滥用也最危险的方法之一。盲目删除行可能会破坏数据的时间序列结构如面板数据或者让训练集和测试集的分布产生差异。我的经验是在删除前务必用df.isnull().sum()和df.isnull().mean()命令仔细查看每列的缺失比例并绘制缺失样本的分布图。如果删除行后样本量锐减超过10%就要非常谨慎。3.2 简单填补法中庸之选当删除不可行时我们用一些统计量来填补空缺。均值/中位数/众数填补用该特征的均值连续变量、中位数对异常值稳健或众数分类变量进行填补。# 数值型列用中位数填补比均值更抗异常值 df_filled_median df.fillna(df.median()) # 分类列用众数填补 from scipy.stats import mode mode_result mode(df[category_col].dropna()) # 先去掉NaN再求众数 df[category_col].fillna(mode_result.mode[0], inplaceTrue)前后值填补主要用于时间序列数据用前一个或后一个有效值来填补。# 前向填充 df_filled_ffill df.fillna(methodffill) # 后向填充 df_filled_bfill df.fillna(methodbfill)何时使用适用于随机缺失且缺失比例不高的情况。优点是简单快速不会减少样本量。缺点是人为降低了数据的方差扭曲了特征间的相关关系。例如用均值填补后所有填补点的值都一样这会弱化该特征与目标变量的潜在关系。3.3 模型预测填补法更智能的选择这是目前主流且效果较好的方法。其核心思想是将缺失特征作为预测目标利用其他没有缺失的特征来训练一个模型预测并填补缺失值。K最近邻填补对于一个缺失值在特征空间中寻找K个与之最相似的完整样本用这些样本在该特征上的均值或加权均值进行填补。相似度通常用欧氏距离衡量。from sklearn.impute import KNNImputer imputer KNNImputer(n_neighbors5, weightsuniform) df_knn_imputed pd.DataFrame(imputer.fit_transform(df), columnsdf.columns)迭代多元插补这是更为严谨和强大的方法。它认为每个缺失值都存在一个概率分布。MICE通过迭代循环为每个含缺失值的变量建立预测模型如线性回归、随机森林并利用预测值加上残差来生成多个可能的数据集。最终分析结果是对这多个数据集分析结果的综合。from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.ensemble import RandomForestRegressor # 使用随机森林作为每个变量的预测器 imputer IterativeImputer(estimatorRandomForestRegressor(n_estimators10, random_state42), max_iter10, random_state42) df_mice_imputed pd.DataFrame(imputer.fit_transform(df), columnsdf.columns)实战心得与坑点注意模型预测法虽然强大但计算成本高且存在“数据泄露”的风险。绝对不能在整个数据集上拟合模型然后预测缺失值再将这个完整数据集用于后续的模型训练这会导致严重的过拟合。正确的做法是在交叉验证的每个折叠中仅使用训练集的信息来拟合填补器然后同时转换训练集和验证集/测试集。在竞赛中如果时间紧迫可以先用简单方法跑一个基线模型如果时间允许再用MICE等高级方法进行优化。4. 异常值检测如何发现数据中的“异类”检测是处理的前提。我们需要一套组合拳从不同角度识别异常点。4.1 基于统计分布的检测方法这类方法假设数据服从某种分布将偏离分布中心一定程度的数据点视为异常。3σ原则/标准差法适用于近似正态分布的数据。认为所有数据中99.7%落在均值上下3个标准差的范围内。在此范围外的点视为异常值。mean_val df[feature].mean() std_val df[feature].std() lower_bound mean_val - 3 * std_val upper_bound mean_val 3 * std_val outliers_3sigma df[(df[feature] lower_bound) | (df[feature] upper_bound)]箱线图法这是最常用、最直观的方法。它基于四分位数不依赖于具体的分布假设。异常值通常被定义为小于Q1 - 1.5 * IQR或大于Q3 1.5 * IQR的点其中IQR Q3 - Q1。Q1 df[feature].quantile(0.25) Q3 df[feature].quantile(0.75) IQR Q3 - Q1 lower_bound_box Q1 - 1.5 * IQR upper_bound_box Q3 1.5 * IQR outliers_box df[(df[feature] lower_bound_box) | (df[feature] upper_bound_box)]实战心得箱线图法是竞赛中的首选快速检测工具。用df.describe()查看统计摘要再用seaborn.boxplot()或matplotlib.pyplot.boxplot()可视化一眼就能看出异常点。但要注意对于偏态分布的数据箱线图可能会将一些正常的大值误判为异常。4.2 基于距离的检测方法在高维空间中异常点往往是那些远离大多数数据点的“孤岛”。局部离群因子这是一个非常优秀的算法。它通过计算一个点的局部密度并与邻居点的密度进行比较来判断该点是否为异常点。LOF值接近1说明该点密度与邻居相似LOF值显著大于1如2则可能是异常点。from sklearn.neighbors import LocalOutlierFactor lof LocalOutlierFactor(n_neighbors20, contamination0.1) # contamination是异常值比例的估计 outlier_labels lof.fit_predict(df[[feature1, feature2]]) # 输入需要是多维特征 # 输出中1代表正常点-1代表异常点何时使用当数据有明显的聚类趋势且异常点并非在全局偏离而是在局部区域内显得稀疏时LOF比全局统计方法更有效。4.3 基于模型的检测方法这类方法通过构建一个模型来拟合“正常”数据然后将不符合该模型的数据点视为异常。孤立森林其思想非常巧妙异常点由于“少而不同”更容易在随机划分的特征空间中被快速隔离出来。iForest通过构建多棵随机树计算每个样本被隔离所需的平均路径长度路径越短越可能是异常点。from sklearn.ensemble import IsolationForest iso_forest IsolationForest(n_estimators100, contamination0.1, random_state42) outlier_labels_iso iso_forest.fit_predict(df[[feature1, feature2]])单类支持向量机当训练数据大部分是“正常”数据没有或很少有异常样本标签时One-Class SVM尝试学习一个边界将正常数据包围起来边界外的点视为异常。实战心得Isolation Forest计算效率高适合高维数据是竞赛中的利器。contamination参数是一个估计值不需要非常精确设置一个大概范围如0.05-0.1即可。可以将LOF和iForest的结果结合起来看如果多个方法都认为某个点是异常那它就需要被重点关注。5. 异常值处理修正、转换与包容检测出异常值后我们有几种处理策略。5.1 直接删除与缺失值处理类似直接删除被判定为异常的样本。适用场景确认异常值是由错误导致如数据录入错误且删除后不影响数据整体结构和样本量。或者异常值数量极少。风险可能删除重要的极端事件信息。在时间序列中删除一个点可能会破坏序列的连续性。5.2 修正与替换如果认为异常值是一个错误但知道其合理范围可以进行修正。盖帽法将超过上下限的值直接替换为边界值。例如用箱线图的上界替换所有大于上界的值。df[feature_capped] df[feature].clip(lowerlower_bound_box, upperupper_bound_box)分箱离散化将连续变量分段异常值会被归入最高或最低的箱中。这可以减弱异常值的影响但损失了部分信息。df[feature_binned] pd.cut(df[feature], bins5, labelsFalse)5.3 数据变换通过对整个特征进行数学变换压缩极端值的尺度使其更符合模型的假设。对数变换log(x1)。特别适用于右偏有长尾的数据如收入、房价。Box-Cox变换一种更通用的幂变换可以自动寻找最佳参数使数据接近正态分布。要求数据必须为正数。from scipy import stats transformed_data, fitted_lambda stats.boxcox(df[feature] 1) # 1 确保数据为正实战心得对于回归类问题如果特征和目标变量之间存在明显的非线性关系如指数增长进行对数变换往往能显著提升模型性能同时也能缓解异常值的影响。变换后记得如果最终需要解释预测值可能需要进行逆变换。5.4 使用稳健的模型这是“治本”的思路之一既然数据有异常值那就选用对异常值不敏感的模型。树模型如随机森林、梯度提升树基于分割点做决策对异常值不敏感。基于距离的模型如使用曼哈顿距离代替欧氏距离的KNN或者使用对异常值更稳健的聚类算法如DBSCAN。分位数回归不像普通线性回归拟合均值而是拟合条件分位数如中位数对异常值更稳健。在竞赛中一个常见的策略是先用对异常值稳健的模型如树模型跑一个基线确保有一个保底结果然后尝试清洗/变换数据后再用对异常值敏感的模型如线性回归、SVM进行优化看是否有提升。6. 实战流程与竞赛策略整合在数学建模竞赛的72小时内数据预处理必须高效、有策略。下面是一个可操作的流水线。6.1 第一步快速探索与评估拿到数据后的第一个小时不要做任何处理。整体概览df.info(),df.describe()了解数据规模、类型、缺失情况。可视化扫描对每个数值特征画箱线图快速锁定异常值。使用missingno库的matrix或bar图直观查看缺失值的分布模式。绘制特征间的散点图矩阵观察异常点是否集中在某些特征组合中。结合赛题背景这是最关键的一步阅读赛题说明判断数据中的“异常”是否可能是问题的核心。例如预测信用卡欺诈那么极少数的高额异常交易就是正样本。6.2 第二步制定处理策略并执行根据探索结果制定一个初步策略。处理缺失值对于缺失率40%的特征考虑直接删除。对于时间序列特征优先尝试前后向填充。对于其他特征如果时间非常紧用中位数/众数填充。如果时间允许且数据量不是巨大为数值型特征运行一个快速的KNNImputern_neighbors5。记录务必记录下你填补了哪些列使用了什么方法。在论文中需要说明。处理异常值策略A保守如果赛题背景不强调极端事件且异常点明显是错误如年龄200岁使用箱线图法识别并用盖帽法处理。策略B激进如果怀疑异常点可能是关键信息或者模型需要稳健性则暂时不处理而是先使用随机森林等稳健模型。同时可以创建一个“是否为异常”的二元特征作为新特征加入模型让模型自己去学习。策略C折中对存在严重右偏/左偏的特征进行对数变换或Box-Cox变换平滑异常值的影响。6.3 第三步建模验证与迭代数据处理不是一次性动作需要与建模结果联动验证。建立基线模型使用处理后的数据训练一个简单的基线模型如线性回归、逻辑回归或默认参数的随机森林。记录其性能如RMSE, Accuracy。对比实验尝试不同的缺失值填补方法如均值 vs KNN看验证集指标哪个更好。尝试不同的异常值处理策略如删除 vs 盖帽 vs 不处理稳健模型比较结果。注意这些对比必须在同一个训练-验证划分下进行确保可比性。确定最终方案选择在验证集上表现最好且稳定的处理方案应用到整个训练集上用于生成最终的测试集预测。6.4 竞赛时间分配建议在72小时竞赛中建议将数据清洗和探索的时间控制在4-8小时以内。这是一个高性价比的投资。一个干净、理解透彻的数据集能让后续的建模调参事半功倍。切忌在数据预处理环节陷入完美主义花费一整天时间尝试各种复杂的填补算法而压缩了核心建模和论文写作的时间。7. 常见陷阱与排查技巧实录这里分享一些我踩过的坑和总结的技巧这些在标准教程里往往不会细说。7.1 陷阱一测试集数据泄露这是最致命也最隐蔽的错误。错误做法将训练集和测试集合并在一起计算全局的均值、中位数来填补缺失值或者计算全局的IQR来检测异常值。后果测试集的信息“泄露”到了训练过程中导致模型在测试集上得到虚高的、不可靠的性能评估。正确做法所有从数据中学习到的参数如填补用的均值、缩放用的标准差、异常值检测的边界都必须仅从训练集中计算。然后用这些从训练集学到的参数去转换测试集。# 正确示例使用 sklearn 的 Pipeline 和 Transformer from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler # 定义预处理步骤 numeric_transformer Pipeline(steps[ (imputer, SimpleImputer(strategymedian)), # 用训练集中位数填补 (scaler, StandardScaler()) # 用训练集均值和标准差缩放 ]) # 在训练集上拟合 preprocessor.fit(X_train) # 同时转换训练集和测试集 X_train_processed preprocessor.transform(X_train) X_test_processed preprocessor.transform(X_test) # 测试集使用训练集的参数7.2 陷阱二忽视特征类型用处理连续变量的方法处理分类变量或者反之。问题对分类变量如性别、城市求均值、中位数进行填补毫无意义。对有序分类变量如教育程度高中、本科、硕士进行One-Hot编码后用KNN填补也可能产生不合理的结果如出现0.5这样的非整数编码。技巧必须对数值型和分类型特征分开处理。可以使用ColumnTransformer为不同类型特征指定不同的处理管道。对于分类变量缺失优先使用众数填补或者增加一个“缺失”类别。7.3 陷阱三过度处理为了追求“干净”的数据删除了太多样本或过度修正了数据导致数据失去了原有的变异性和真实性。排查在处理前后对比关键特征的分布直方图、箱线图。如果分布形状发生了巨大改变例如一个右偏分布变成了完美正态就要反思是否处理过度了。技巧“没有免费的午餐”定理同样适用于数据预处理。复杂的填补算法不一定比简单方法好尤其是在样本量小或缺失机制复杂时。在竞赛中如果简单方法中位数填补和复杂方法MICE得到的模型性能相差无几果断选择简单方法并把时间省下来做特征工程或模型集成。7.4 技巧创建缺失指示器这是一个简单却非常有效的特征工程技巧。操作对于某个存在缺失值的特征除了填补它之外额外创建一个新的布尔型特征例如feature_is_missing用来指示该样本在这个特征上是否曾经缺失。为什么有效缺失本身可能包含信息。例如在客户信息表中不填写收入栏目的客户可能与填写了低收入收入的客户有不同的行为模式。这个指示器可以帮助模型捕捉到这种模式。df[income_is_missing] df[income].isnull().astype(int) # 然后再对 income 列进行填补 df[income].fillna(df[income].median(), inplaceTrue)7.5 技巧多套处理方案备份在竞赛中时间再紧也尽量尝试两种差异化的预处理方案。方案一干净版积极处理异常值盖帽/删除用KNN或MICE填补缺失值。适用于对异常值敏感的模型如线性模型、SVM。方案二原始版仅处理明显的错误缺失值保留异常值但对偏态特征做对数变换。使用随机森林、LightGBM等树模型进行建模。 在最后模型融合时这两套方案训练出来的模型其多样性可能带来意外的效果提升。数据处理是建模的基础也是体现建模者经验和思考深度的地方。它没有唯一正确的答案只有最适合当前数据和问题的权衡之道。在紧张的竞赛氛围中保持清晰的思路遵循“探索-假设-实验-验证”的科学流程就能稳稳地拿下这场“攻坚战”为后续的建模铺平道路。