机器学习十大算法简介与应用监督学习算法线性回归逻辑回归决策树随机森林支持向量机SVM无监督学习算法聚类-K均值聚类降维-主成分分析PCA其他关键算法朴素贝叶斯K近邻KNN梯度提升树如XGBoost机器学习分为监督学习、无监督学习、强化学习可选三大分支监督学习算法线性回归核心拟合线性关系y w x b y wx bywxb应用房价预测、销量分析特点简单、可解释性强逻辑回归核心Sigmoid函数处理二分类P ( y 1 ∣ x ) 1 1 e − ( w x b ) P(y1|x) \frac{1}{1e^{-(wxb)}}P(y1∣x)1e−(wxb)1​应用信用评分、疾病诊断特点输出概率值决策树核心基于信息增益/基尼系数分裂节点应用客户分群、风险评估特点可解释性强易过拟合随机森林核心多决策树投票集成应用金融反欺诈、推荐系统特点抗过拟合并行计算支持向量机SVM核心最大化间隔超平面w T x b 0 w^Tx b 0wTxb0应用图像分类、文本分类特点适合小样本高维数据无监督学习算法聚类-K均值聚类核心最小化簇内平方误差∑ i 1 k ∑ x ∈ C i ∣ ∣ x − μ i ∣ ∣ 2 \sum_{i1}^k \sum_{x \in C_i} ||x - \mu_i||^2∑i1k​∑x∈Ci​​∣∣x−μi​∣∣2应用用户画像、市场细分特点需预设K值降维-主成分分析PCA核心特征降维保留最大方差方向应用数据可视化、去噪特点线性变换丢失部分信息其他关键算法朴素贝叶斯核心基于条件独立性假设P ( y ∣ x ) ∝ P ( y ) ∏ P ( x i ∣ y ) P(y|x) \propto P(y)\prod P(x_i|y)P(y∣x)∝P(y)∏P(xi​∣y)应用垃圾邮件过滤、情感分析特点计算效率高K近邻KNN核心基于距离投票分类应用推荐系统、异常检测特点惰性学习计算成本高梯度提升树如XGBoost核心迭代优化损失函数应用竞赛常用、点击率预测特点高性能需调参