【Python】【机器学习】集成算法(随机森林、提升算法)

📅 发布时间:2026/7/13 4:34:32 👁️ 浏览次数:
【Python】【机器学习】集成算法(随机森林、提升算法)
bagging类似集成电路的并联取平均boosting类似串联加强。Bagging神经网络是黑盒判断逻辑不可解释feature importance的原理计算特征组ABCD和AB’CD的结果B’是B数据的破坏或随机打乱或随机加入噪音点干扰值在使用相同模型下AB’CD的结果如果与ABCD结果差不多则B特征不重要如果err(AB’CD)err(ABCD)则B特征重要。BoostingAdaBoot算法会把上一次预测错的数据的权重增大。Xgboost一步步处理二八原则的二。如100数据样本第一棵树预测的error有20第二棵树的样本是从这20中进一步预测而非从100预测。以此类推。最终的预测结果是树1树2…树N。效率低但效果好。Stacking