尧图网页设计 
文档教程机器学习【免费下载链接】stanford-cs-229-machine-learningVIP cheatsheets for Stanfords CS 229 Machine Learning项目地址https://gitcode.com/GitHub_Trending/st/stanford-cs-229-machine-learning点击查看免费下载本文以仓库 fr/README.md 为骨架系统梳理斯坦福大学 CS 229 机器学习课程法语版速查资源Pense-bêtes VIP的完整构成四张 VIP 速查表监督学习、非监督学习、深度学习、实战小技巧、两张数学复习手册概率统计、线性代数与分析以及一张 16 页的超级速查表。读完本文你将掌握这套法语资源的知识框架、每份文档覆盖的核心算法与公式要点并能直接在仓库中按路径定位、查阅对应的 PDF 文件用于复习与实战。一、仓库定位一门课程、一套速查体系、多种语言法语版 fr/README.md 明确指出该仓库stanford-cs-229-machine-learning的目的But是把斯坦福 CS 229 机器学习课程中所有重要概念汇集到同一处并特别包含三类内容数学复习Rappels突出课程的**前置知识pré-requis**关键点每个机器学习领域的速查表Pense-bêtes外加一张专门针对实际训练模型时的小技巧petites astuces速查表以上所有内容的合订编译Super Pense-bête一份可以随时随身携带的终极概念汇编。同一套速查体系在仓库中提供了多语言版本包括阿拉伯语ar/、英语en/、西班牙语es/、波斯语fa/、法语fr/、葡萄牙语pt/、土耳其语tr/、越南语vi/、简体中文zh/与繁体中文zh-tw/等目录。法语版目录fr/下共存放 7 个 PDF 文件对应资源清单如下资源类型文件路径页数VIP 速查表监督学习fr/pense-bete-apprentissage-supervise.pdf4VIP 速查表非监督学习fr/pense-bete-apprentissage-non-supervise.pdf3VIP 速查表深度学习fr/pense-bete-apprentissage-profond.pdf2VIP 速查表机器学习小技巧fr/pense-bete-machine-learning-petites-astuces.pdf3VIP 复习概率与统计fr/rappels-probabilites-statistiques.pdf3VIP 复习代数与分析fr/rappels-algebre-analyse.pdf2超级速查表Super Pense-bêtefr/super-pense-bete-machine-learning.pdf16二、VIP 速查表一监督学习速查表fr/pense-bete-apprentissage-supervise.pdf4 页覆盖监督学习的完整知识链条从问题定义到理论保证是四张速查表中内容最密集的一张。2.1 问题框架预测类型与模型类型给定数据集点集{x(1), ..., x(m)}与对应标签{y(1), ..., y(m)}目标是构建一个能从 x 预测 y 的分类器。文档先用两个对照表建立全局框架预测类型Type de prédiction输出为连续值时是回归问题如线性回归输出为类别时是分类问题如逻辑回归、SVM、朴素贝叶斯模型类型Type de modèle**判别模型modèle discriminatif**直接估计P(y|x)学到的是决策边界代表是回归类模型与 SVM**生成模型modèle génératif**先估计P(x|y)再通过贝叶斯定理推出P(y|x)学到的是数据概率分布代表是 GDA 与朴素贝叶斯。2.2 通用记号假设、损失函数与代价函数假设Hypothèse记作hθ即所选模型给定输入x(i)模型预测为hθ(x(i))损失函数Fonction de lossL: (z, y) → L(z, y)衡量预测值 z 与真实值 y 的差异。文档给出了四类常用损失函数及其典型用途损失函数公式典型模型最小二乘Moindres carrés1/2 · (y − z)²线性回归逻辑损失Logistiquelog(1 exp(−yz))逻辑回归合页损失Hinge lossmax(0, 1 − yz)SVM交叉熵Cross-entropie−[y·log(z) (1−y)·log(1−z)]神经网络代价函数Fonction de coûtJ(θ) Σᵢ L(hθ(x(i)), y(i))用于评估模型整体性能梯度下降记学习率为α ∈ R更新规则为θ ← θ − α∇J(θ)。文档特别注明**随机梯度下降SGD**逐样本更新参数批量梯度下降按批量更新极大似然似然L(θ)用于求最优参数θopt argmax_θ L(θ)实际中通常优化更易处理的对数似然ℓ(θ) log L(θ)牛顿法Algorithme de Newton求解ℓ′(θ) 0更新规则为θ ← θ − ℓ′(θ)/ℓ″(θ)其多维推广即牛顿-拉弗森Newton-Raphson方法更新规则为θ ← θ − (∇²θ ℓ(θ))⁻¹ ∇θ ℓ(θ)。2.3 线性回归正规方程、LMS 与 LWR在线性回归中假设y|x; θ ~ N(µ, σ²)文档给出三条关键结论正规方程Équations normales令 X 为设计矩阵使代价函数最小化的 θ 存在闭式解θ (XᵀX)⁻¹XᵀyLMS 算法最小均方即 Widrow-Hoff 规则对每个 jθj ← θj α Σᵢ (y(i) − hθ(x(i)))·x(i)j是梯度下降的特例LWR局部加权回归线性回归的变体通过权重w(i)(x) exp(−(x(i) − x)²/(2τ²))参数τ ∈ R为每个样本加权。2.4 分类与逻辑回归sigmoid、softmaxSigmoid逻辑函数g(z) 1/(1 e⁻ᶻ) ∈ (0, 1)逻辑回归假设y|x; θ ~ Bernoulli(φ)有φ p(y 1|x; θ) 1/(1 exp(−θᵀx)) g(θᵀx)。文档明确提示逻辑回归没有闭式解Softmax 回归多分类逻辑回归约定θK 0每类参数φi exp(θiᵀx) / Σⱼ exp(θjᵀx)。2.5 广义线性模型GLM指数族Famille exponentielle分布可写成p(y; η) b(y)·exp(ηᵀT(y) − a(η))其中 η 为自然参数也称规范参数/联系函数T(y)为充分统计量a(η)为对数分配函数通常T(y) yexp(−a(η))可看作保证概率求和为 1 的归一化参数。文档给出常见指数族分布表Bernoulliη log(φ/(1−φ))a(η) log(1 e^η)、Gaussianη µa(η) η²/2、Poissonη log λa(η) e^η、Geometricη log(1−φ)a(η) log(e^η/(1−e^η))等GLM 的三大假设(1)y|x; θ ~ ExpFamily(η)(2)hθ(x) E[y|x; θ](3)η θᵀx。文档指出普通最小二乘OLS与逻辑回归都是 GLM 的特例。2.6 SVM决策边界、合页损失与核技巧决策边界由wᵀx − b 0定义合页损失L(z, y) [1 − yz]₊ max(0, 1 − yz)核Noyau给定特征映射 φ核函数K(x, z) φ(x)ᵀφ(z)最常用的高斯核为K(x, z) exp(−‖x − z‖²/(2σ²))。文档强调**核技巧kernel trick**的意义计算代价函数只需知道K(x, z)的取值无需显式求出通常非常复杂的特征映射拉格朗日函数L(w, b) f(w) Σᵢ βᵢhᵢ(w)系数βᵢ即拉格朗日乘子。2.7 生成学习GDA 与朴素贝叶斯生成模型先学习数据如何产生估计P(x|y)再借贝叶斯定理估计P(y|x)。GDA高斯判别分析假设y ~ Bernoulli(φ)x|y0 ~ N(µ0, Σ)x|y1 ~ N(µ1, Σ)最大化似然得到估计φ̂ (1/m)Σᵢ 1{y(i)1}、µ̂j Σᵢ 1{y(i)j}·x(i) / Σᵢ 1{y(i)j}j 0,1以及Σ̂ (1/m)Σᵢ (x(i) − µy(i))(x(i) − µy(i))ᵀ朴素贝叶斯Naive Bayes假设各特征条件独立P(x|y) Πᵢ P(xi|y)最大对数似然给出P(y k) #{j | y(j) k}/m与P(xi l | y k) #{j | y(j) k 且 xi(j) l}/#{j | y(j) k}。文档特别注明朴素贝叶斯常用于文本分类与垃圾邮件检测。2.8 树与集成方法、非参数方法CART分类与回归树/决策树以二叉树形式表示最大优点是高度可解释随机森林Random forest基于随机选取特征子集构建大量决策树与单棵决策树不同它完全不可解释但因性能好而流行属于集成方法méthode ensemblisteBoosting核心思想是组合多个弱模型形成更强模型。文档区分两种主流自适应增强Adaboost——把大系数放在被分错的样本上使弱模型在下一轮 boosting 中改进梯度提升Gradient boosting——让弱模型在残差误差上训练k-NNk 近邻非参数方法由训练集中 k 个最近邻的性质决定新点的响应可用于分类与回归。文档给出的经验规律k 越大偏差biais越高k 越小方差variance越高。2.9 学习理论泛化保证布尔不等式P(A1 ∪ ... ∪ Ak) ≤ Σᵢ P(Ai)Hoeffding 不等式也称 Chernoff 界对 m 个独立同分布 Bernoulli(φ) 变量P(|φ − φ̂| γ) ≤ 2·exp(−2γ²m)训练误差经验风险ε̂(h) (1/m)Σᵢ 1{h(x(i)) ≠ y(i)}PAC可能近似正确框架假设训练集与测试集同分布、训练样本独立抽取打散Shattering若对任意标签组合都存在 h ∈ H 使h(x(i)) y(i)全部成立则称 H 打散集合 S有限假设类上界对|H| k以至少1 − δ概率有ε(ĥ) ≤ min_h ε(h) 2√(1/(2m)·log(2k/δ))VC 维无穷假设类 H 的 VC 维VC(H)是能被 H 打散的最大集合大小例如二维线性分类器的 VC 维等于 3相应的Vapnik 定理给出ε(ĥ) ≤ min_h ε(h) O(√(d/m·log(m/d) (1/m)·log(1/δ)))。三、VIP 速查表二非监督学习速查表fr/pense-bete-apprentissage-non-supervise.pdf3 页聚焦从无标签数据{x(1), ..., x(m)}中发现隐藏结构。3.1 动机与 Jensen 不等式非监督学习的目标是在无标签数据集中发现隐藏模式。支撑 EM 算法的关键工具是Jensen 不等式对凸函数 f 与随机变量 X有E[f(X)] ≥ f(E[X])。3.2 期望最大化EM算法隐变量variables latentesz 是隐藏/未观测变量会给估计带来困难。文档给出两个典型框架k 高斯混合Mixture de k gaussiennes——z ~ Multinomial(φ)、x|z ~ N(µj, Σj)因子分析Analyse factorielle——z ~ N(0, I)、x|z ~ N(µ Λz, ψ)。EM 通过构建似然下界 优化下界交替进行E 步计算后验概率Qi(z(i)) P(z(i)|x(i); θ)即每个点属于某个划分 z(i) 的概率M 步以后验Qi(z(i))作为加权系数重新估计每个划分的模型参数θ argmax_θ Σᵢ ∫ Qi(z(i))·log(P(x(i), z(i); θ)/Qi(z(i))) dz(i)。3.3 k-means 聚类记c(i)为点 i 的划分、µj为划分 j 的中心。随机初始化中心µ1, ..., µk ∈ Rⁿ后迭代直至收敛分配步骤c(i) argmin_j ‖x(i) − µj‖²更新步骤µj (Σᵢ 1{c(i)j}·x(i)) / (Σᵢ 1{c(i)j})。收敛性可通过失真函数fonction de distortionJ(c, µ) Σᵢ ‖x(i) − µc(i)‖²判断。3.4 层次聚类与降维层次聚类Regroupement hiérarchique以层次化方式逐级构建嵌套的簇划分文档按不同目标函数列出若干类型。此外从超级速查表的目录结构可以确认非监督学习板块还系统覆盖聚类评估指标以及降维réduction de dimension两大主题——包括主成分分析PCA与独立成分分析ICA详见 fr/super-pense-bete-machine-learning.pdf 第 6–7 页目录。四、VIP 速查表三深度学习速查表fr/pense-bete-apprentissage-profond.pdf2 页用最紧凑的篇幅覆盖神经网络的建模、训练与调参核心。架构神经网络由若干神经元层构成卷积神经网络CNN与循环神经网络RNN是两大主要类型。记 i 为第 i 层、j 为第 j 个隐藏单元则z[j][i] w[j][i]ᵀx b[j][i]其中 w 为系数、b 为偏置、z 为输出变量激活函数为模型引入非线性文档给出四种最常用激活函数Sigmoidg(z) 1/(1 e⁻ᶻ)、Tanhg(z) (eᶻ − e⁻ᶻ)/(eᶻ e⁻ᶻ)、ReLUg(z) max(0, z)、Leaky ReLUg(z) max(εz, z)ε ≪ 1交叉熵损失神经网络常用的目标函数L(z, y) −[y·log(z) (1 − y)·log(1 − z)]学习率记作 α 或 η决定系数更新速度可固定也可可变文档特别点名Adam是当前最流行的自适应学习率方法之一反向传播Rétropropagation通过比较实际输出与期望输出更新系数利用链式法则求导∂L/∂w (∂L/∂a)·(∂a/∂z)·(∂z/∂w)随后w ← w − η·∂L/∂w系数更新流程第一步取一批训练观测第二步前向传播得到损失第三步进行反向传播后文继续完成梯度计算与参数更新。从超级速查表目录第 8–9 页可见深度学习板块还涵盖卷积神经网络CNN、**循环神经网络RNN与强化学习Reinforcement Learning**三个小节构成完整的深度学习知识面。五、VIP 速查表四机器学习小技巧速查表fr/pense-bete-machine-learning-petites-astuces.pdf3 页是实战导向最强的一张面向训练模型时的评估与调试。5.1 分类场景的评估指标混淆矩阵Matrice de confusion四象限完整刻画模型表现——真正例 TP、假正例 FP第一类错误、真负例 TN、假负例 FN第二类错误核心指标表Accuracy(TP TN)/(TP TN FP FN)模型整体性能、PrecisionTP/(TP FP)正预测的精确程度、RecallTP/(TP FN)真正例的覆盖程度、SpecificityTN/(TN FP)真负例的覆盖程度、F1 分数2TP/(2TP FP FN)面向不平衡类的混合指标ROC 曲线与 AUCROC受试者工作特征曲线通过变动阈值描绘真正例率 TPR 与假正例率 FPR 的关系其中 TPR Recall SensitivityFPR FP/(TN FP) 1 − Specificity**AUC曲线下面积又称 AUROC**则是 ROC 曲线下的面积用于整体衡量分类能力。5.2 回归场景的评估指标三类平方和总平方和SStot Σᵢ (yi − ȳ)²、解释平方和SSreg Σᵢ (f(xi) − ȳ)²、残差平方和SSres Σᵢ (yi − f(xi))²决定系数R² 1 − SSres/SStot度量模型的拟合质量。此外从超级速查表目录第 10–11 页可以确认小技巧板块还包含**模型选择Sélection de modèle与诊断Diagnostics**两节帮助读者在偏差/方差权衡、交叉验证与误差分析层面做出决策。六、VIP 复习手册概率统计与代数分析两张复习手册解决课程的前置数学知识是阅读前四张速查表的地基。6.1 概率与统计复习fr/rappels-probabilites-statistiques.pdf3 页从概率论公理讲到随机变量概率空间与事件所有可能结果构成样本空间 SS 的任一子集 E 称为事件三条概率公理为0 ≤ P(E) ≤ 1、P(S) 1、互斥事件并的概率等于概率之和组合计数排列P(n, r) n!/(n − r)!顺序有关组合C(n, r) P(n, r)/r! n!/(r!(n − r)!)顺序无关且当0 ≤ r ≤ n时P(n, r) ≥ C(n, r)条件概率贝叶斯定理P(A|B) P(B|A)P(A)/P(B)且有P(A ∩ B) P(A)P(B|A)对样本空间的一个划分{Ai}两两不交且并集为 S有全概率公式P(B) Σᵢ P(B|Ai)P(Ai)与扩展贝叶斯公式P(Ak|B) P(B|Ak)P(Ak) / Σᵢ P(B|Ai)P(Ai)事件 A、B 独立当且仅当P(A ∩ B) P(A)P(B)随机变量将样本空间映射到实数的函数分布函数CDFF(x) P(X ≤ x)单调递增且满足lim_{x→−∞}F(x) 0、lim_{x→∞}F(x) 1并有P(a X ≤ b) F(b) − F(a)概率密度PDF则描述连续随机变量的密度分布。6.2 线性代数与分析复习fr/rappels-algebre-analyse.pdf2 页按照标题所声明的两大主题——线性代数Algèbre linéaire与分析/微积分Analyse——组织记号向量x ∈ Rⁿ第 i 个分量xi、矩阵A ∈ Rᵐˣⁿ第 i 行第 j 列元素Ai,j向量可视为 n × 1 列向量单位阵I 为对角线上全 1、其余全 0 的方阵满足A·I I·A A对角阵D diag(d1, ..., dn)仅对角线非零矩阵运算向量-向量有内积点积xᵀy Σᵢ xᵢyᵢ ∈ R与外积xyᵀ ∈ Rᵐˣⁿ矩阵-向量乘积Ax可表示为行向量视角aᵀ_{r,i}·x构成结果向量的各行或列向量视角Ax Σᵢ a_{c,i}·xi矩阵-矩阵乘积AB Σᵢ a_{c,i}bᵀ_{r,i}转置(Aᵀ)ᵢ,ⱼ Aⱼ,ᵢ且(AB)ᵀ BᵀAᵀ逆矩阵可逆方阵 A 满足AA⁻¹ A⁻¹A I注意并非所有方阵都可逆且(AB)⁻¹ B⁻¹A⁻¹迹tr(A) Σᵢ Aᵢ,ᵢ为对角元素之和。七、超级速查表16 页浓缩全课程fr/super-pense-bete-machine-learning.pdf16 页是法语版的终极合订本把前述全部概念汇集到一份文档中目录结构完整呈现了课程的四大板块监督学习第 2–5 页监督学习简介、记号与通用概念线性回归、分类与逻辑回归、GLM、SVM、生成学习GDA、朴素贝叶斯、树与集成方法、非参数方法、学习理论非监督学习第 6–7 页简介、聚类EM、k-means、层次聚类、聚类评估指标、降维PCA、ICA深度学习第 8–9 页神经网络、卷积神经网络CNN、循环神经网络RNN、强化学习机器学习小技巧第 10 页起分类指标、回归指标、模型选择、诊断。这份 16 页文档适合在复习冲刺、面试准备或工程开发时随身携带一张 PDF 即可快速回溯课程全部核心公式与概念。八、授权与使用方式法语版资源与仓库根目录一致采用MIT 许可证见 fr/LICENSE版权归 Afshine Amidi 与 Shervine Amidi2018所有允许自由使用、复制、修改与再分发。资源作者为 Afshine Amidi巴黎中央理工学院、MIT与 Shervine Amidi巴黎中央理工学院、斯坦福大学。获取与使用这套法语速查表非常简单直接克隆仓库后打开fr/目录下的任意 PDF 即可离线阅读例如git clone https://gitcode.com/GitHub_Trending/st/stanford-cs-229-machine-learning # 打开 fr/pense-bete-apprentissage-supervise.pdf 等任意速查表即可使用如果你更习惯英文或中文可以对照阅读 en/、zh/ 与 zh-tw/ 对应目录下的同名资源法语版与各语言版本在主题结构上保持一致便于交叉对照复习斯坦福 CS 229 的完整知识体系。赞分享文档教程机器学习【免费下载链接】stanford-cs-229-machine-learningVIP cheatsheets for Stanfords CS 229 Machine Learning项目地址https://gitcode.com/GitHub_Trending/st/stanford-cs-229-machine-learning点击查看免费下载相关推荐现代 JavaScript 教程生成器、迭代器与 ES Modules——组织大型代码的关键现代 JavaScript 教程生成器、迭代器与 ES Modules——组织大型代码的关键 本文来自《现代 JavaScript 教程》的学习指南面向新手文档教程机器学习Stanford CS 229 西班牙语机器学习速查表仓库es/README.md完整导读与内容详解Stanford CS 229 西班牙语机器学习速查表仓库es/README.md完整导读与内容详解 本指南以 es/README.md https://l文档教程机器学习终极指南Stanford CS 229机器学习完整学习路径与速查宝典终极指南Stanford CS 229机器学习完整学习路径与速查宝典 想要系统学习机器学习却不知从何开始Stanford CS 229机器学习速查宝典为你提文档教程机器学习上一篇Type-Fest 中的缓存策略Redis 类型定义与操作下一篇Lit 如何用 lit-labs/rollup-plugin-minify-html-literals 压缩构建产物中的 html 与 css 模板字面量创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Stanford CS 229 机器学习法语速查表：VIP 速查表、复习手册与超级速查表知识体系全指南
文档教程机器学习【免费下载链接】stanford-cs-229-machine-learningVIP cheatsheets for Stanfords CS 229 Machine Learning项目地址https://gitcode.com/GitHub_Trending/st/stanford-cs-229-machine-learning点击查看免费下载本文以仓库 fr/README.md 为骨架系统梳理斯坦福大学 CS 229 机器学习课程法语版速查资源Pense-bêtes VIP的完整构成四张 VIP 速查表监督学习、非监督学习、深度学习、实战小技巧、两张数学复习手册概率统计、线性代数与分析以及一张 16 页的超级速查表。读完本文你将掌握这套法语资源的知识框架、每份文档覆盖的核心算法与公式要点并能直接在仓库中按路径定位、查阅对应的 PDF 文件用于复习与实战。一、仓库定位一门课程、一套速查体系、多种语言法语版 fr/README.md 明确指出该仓库stanford-cs-229-machine-learning的目的But是把斯坦福 CS 229 机器学习课程中所有重要概念汇集到同一处并特别包含三类内容数学复习Rappels突出课程的**前置知识pré-requis**关键点每个机器学习领域的速查表Pense-bêtes外加一张专门针对实际训练模型时的小技巧petites astuces速查表以上所有内容的合订编译Super Pense-bête一份可以随时随身携带的终极概念汇编。同一套速查体系在仓库中提供了多语言版本包括阿拉伯语ar/、英语en/、西班牙语es/、波斯语fa/、法语fr/、葡萄牙语pt/、土耳其语tr/、越南语vi/、简体中文zh/与繁体中文zh-tw/等目录。法语版目录fr/下共存放 7 个 PDF 文件对应资源清单如下资源类型文件路径页数VIP 速查表监督学习fr/pense-bete-apprentissage-supervise.pdf4VIP 速查表非监督学习fr/pense-bete-apprentissage-non-supervise.pdf3VIP 速查表深度学习fr/pense-bete-apprentissage-profond.pdf2VIP 速查表机器学习小技巧fr/pense-bete-machine-learning-petites-astuces.pdf3VIP 复习概率与统计fr/rappels-probabilites-statistiques.pdf3VIP 复习代数与分析fr/rappels-algebre-analyse.pdf2超级速查表Super Pense-bêtefr/super-pense-bete-machine-learning.pdf16二、VIP 速查表一监督学习速查表fr/pense-bete-apprentissage-supervise.pdf4 页覆盖监督学习的完整知识链条从问题定义到理论保证是四张速查表中内容最密集的一张。2.1 问题框架预测类型与模型类型给定数据集点集{x(1), ..., x(m)}与对应标签{y(1), ..., y(m)}目标是构建一个能从 x 预测 y 的分类器。文档先用两个对照表建立全局框架预测类型Type de prédiction输出为连续值时是回归问题如线性回归输出为类别时是分类问题如逻辑回归、SVM、朴素贝叶斯模型类型Type de modèle**判别模型modèle discriminatif**直接估计P(y|x)学到的是决策边界代表是回归类模型与 SVM**生成模型modèle génératif**先估计P(x|y)再通过贝叶斯定理推出P(y|x)学到的是数据概率分布代表是 GDA 与朴素贝叶斯。2.2 通用记号假设、损失函数与代价函数假设Hypothèse记作hθ即所选模型给定输入x(i)模型预测为hθ(x(i))损失函数Fonction de lossL: (z, y) → L(z, y)衡量预测值 z 与真实值 y 的差异。文档给出了四类常用损失函数及其典型用途损失函数公式典型模型最小二乘Moindres carrés1/2 · (y − z)²线性回归逻辑损失Logistiquelog(1 exp(−yz))逻辑回归合页损失Hinge lossmax(0, 1 − yz)SVM交叉熵Cross-entropie−[y·log(z) (1−y)·log(1−z)]神经网络代价函数Fonction de coûtJ(θ) Σᵢ L(hθ(x(i)), y(i))用于评估模型整体性能梯度下降记学习率为α ∈ R更新规则为θ ← θ − α∇J(θ)。文档特别注明**随机梯度下降SGD**逐样本更新参数批量梯度下降按批量更新极大似然似然L(θ)用于求最优参数θopt argmax_θ L(θ)实际中通常优化更易处理的对数似然ℓ(θ) log L(θ)牛顿法Algorithme de Newton求解ℓ′(θ) 0更新规则为θ ← θ − ℓ′(θ)/ℓ″(θ)其多维推广即牛顿-拉弗森Newton-Raphson方法更新规则为θ ← θ − (∇²θ ℓ(θ))⁻¹ ∇θ ℓ(θ)。2.3 线性回归正规方程、LMS 与 LWR在线性回归中假设y|x; θ ~ N(µ, σ²)文档给出三条关键结论正规方程Équations normales令 X 为设计矩阵使代价函数最小化的 θ 存在闭式解θ (XᵀX)⁻¹XᵀyLMS 算法最小均方即 Widrow-Hoff 规则对每个 jθj ← θj α Σᵢ (y(i) − hθ(x(i)))·x(i)j是梯度下降的特例LWR局部加权回归线性回归的变体通过权重w(i)(x) exp(−(x(i) − x)²/(2τ²))参数τ ∈ R为每个样本加权。2.4 分类与逻辑回归sigmoid、softmaxSigmoid逻辑函数g(z) 1/(1 e⁻ᶻ) ∈ (0, 1)逻辑回归假设y|x; θ ~ Bernoulli(φ)有φ p(y 1|x; θ) 1/(1 exp(−θᵀx)) g(θᵀx)。文档明确提示逻辑回归没有闭式解Softmax 回归多分类逻辑回归约定θK 0每类参数φi exp(θiᵀx) / Σⱼ exp(θjᵀx)。2.5 广义线性模型GLM指数族Famille exponentielle分布可写成p(y; η) b(y)·exp(ηᵀT(y) − a(η))其中 η 为自然参数也称规范参数/联系函数T(y)为充分统计量a(η)为对数分配函数通常T(y) yexp(−a(η))可看作保证概率求和为 1 的归一化参数。文档给出常见指数族分布表Bernoulliη log(φ/(1−φ))a(η) log(1 e^η)、Gaussianη µa(η) η²/2、Poissonη log λa(η) e^η、Geometricη log(1−φ)a(η) log(e^η/(1−e^η))等GLM 的三大假设(1)y|x; θ ~ ExpFamily(η)(2)hθ(x) E[y|x; θ](3)η θᵀx。文档指出普通最小二乘OLS与逻辑回归都是 GLM 的特例。2.6 SVM决策边界、合页损失与核技巧决策边界由wᵀx − b 0定义合页损失L(z, y) [1 − yz]₊ max(0, 1 − yz)核Noyau给定特征映射 φ核函数K(x, z) φ(x)ᵀφ(z)最常用的高斯核为K(x, z) exp(−‖x − z‖²/(2σ²))。文档强调**核技巧kernel trick**的意义计算代价函数只需知道K(x, z)的取值无需显式求出通常非常复杂的特征映射拉格朗日函数L(w, b) f(w) Σᵢ βᵢhᵢ(w)系数βᵢ即拉格朗日乘子。2.7 生成学习GDA 与朴素贝叶斯生成模型先学习数据如何产生估计P(x|y)再借贝叶斯定理估计P(y|x)。GDA高斯判别分析假设y ~ Bernoulli(φ)x|y0 ~ N(µ0, Σ)x|y1 ~ N(µ1, Σ)最大化似然得到估计φ̂ (1/m)Σᵢ 1{y(i)1}、µ̂j Σᵢ 1{y(i)j}·x(i) / Σᵢ 1{y(i)j}j 0,1以及Σ̂ (1/m)Σᵢ (x(i) − µy(i))(x(i) − µy(i))ᵀ朴素贝叶斯Naive Bayes假设各特征条件独立P(x|y) Πᵢ P(xi|y)最大对数似然给出P(y k) #{j | y(j) k}/m与P(xi l | y k) #{j | y(j) k 且 xi(j) l}/#{j | y(j) k}。文档特别注明朴素贝叶斯常用于文本分类与垃圾邮件检测。2.8 树与集成方法、非参数方法CART分类与回归树/决策树以二叉树形式表示最大优点是高度可解释随机森林Random forest基于随机选取特征子集构建大量决策树与单棵决策树不同它完全不可解释但因性能好而流行属于集成方法méthode ensemblisteBoosting核心思想是组合多个弱模型形成更强模型。文档区分两种主流自适应增强Adaboost——把大系数放在被分错的样本上使弱模型在下一轮 boosting 中改进梯度提升Gradient boosting——让弱模型在残差误差上训练k-NNk 近邻非参数方法由训练集中 k 个最近邻的性质决定新点的响应可用于分类与回归。文档给出的经验规律k 越大偏差biais越高k 越小方差variance越高。2.9 学习理论泛化保证布尔不等式P(A1 ∪ ... ∪ Ak) ≤ Σᵢ P(Ai)Hoeffding 不等式也称 Chernoff 界对 m 个独立同分布 Bernoulli(φ) 变量P(|φ − φ̂| γ) ≤ 2·exp(−2γ²m)训练误差经验风险ε̂(h) (1/m)Σᵢ 1{h(x(i)) ≠ y(i)}PAC可能近似正确框架假设训练集与测试集同分布、训练样本独立抽取打散Shattering若对任意标签组合都存在 h ∈ H 使h(x(i)) y(i)全部成立则称 H 打散集合 S有限假设类上界对|H| k以至少1 − δ概率有ε(ĥ) ≤ min_h ε(h) 2√(1/(2m)·log(2k/δ))VC 维无穷假设类 H 的 VC 维VC(H)是能被 H 打散的最大集合大小例如二维线性分类器的 VC 维等于 3相应的Vapnik 定理给出ε(ĥ) ≤ min_h ε(h) O(√(d/m·log(m/d) (1/m)·log(1/δ)))。三、VIP 速查表二非监督学习速查表fr/pense-bete-apprentissage-non-supervise.pdf3 页聚焦从无标签数据{x(1), ..., x(m)}中发现隐藏结构。3.1 动机与 Jensen 不等式非监督学习的目标是在无标签数据集中发现隐藏模式。支撑 EM 算法的关键工具是Jensen 不等式对凸函数 f 与随机变量 X有E[f(X)] ≥ f(E[X])。3.2 期望最大化EM算法隐变量variables latentesz 是隐藏/未观测变量会给估计带来困难。文档给出两个典型框架k 高斯混合Mixture de k gaussiennes——z ~ Multinomial(φ)、x|z ~ N(µj, Σj)因子分析Analyse factorielle——z ~ N(0, I)、x|z ~ N(µ Λz, ψ)。EM 通过构建似然下界 优化下界交替进行E 步计算后验概率Qi(z(i)) P(z(i)|x(i); θ)即每个点属于某个划分 z(i) 的概率M 步以后验Qi(z(i))作为加权系数重新估计每个划分的模型参数θ argmax_θ Σᵢ ∫ Qi(z(i))·log(P(x(i), z(i); θ)/Qi(z(i))) dz(i)。3.3 k-means 聚类记c(i)为点 i 的划分、µj为划分 j 的中心。随机初始化中心µ1, ..., µk ∈ Rⁿ后迭代直至收敛分配步骤c(i) argmin_j ‖x(i) − µj‖²更新步骤µj (Σᵢ 1{c(i)j}·x(i)) / (Σᵢ 1{c(i)j})。收敛性可通过失真函数fonction de distortionJ(c, µ) Σᵢ ‖x(i) − µc(i)‖²判断。3.4 层次聚类与降维层次聚类Regroupement hiérarchique以层次化方式逐级构建嵌套的簇划分文档按不同目标函数列出若干类型。此外从超级速查表的目录结构可以确认非监督学习板块还系统覆盖聚类评估指标以及降维réduction de dimension两大主题——包括主成分分析PCA与独立成分分析ICA详见 fr/super-pense-bete-machine-learning.pdf 第 6–7 页目录。四、VIP 速查表三深度学习速查表fr/pense-bete-apprentissage-profond.pdf2 页用最紧凑的篇幅覆盖神经网络的建模、训练与调参核心。架构神经网络由若干神经元层构成卷积神经网络CNN与循环神经网络RNN是两大主要类型。记 i 为第 i 层、j 为第 j 个隐藏单元则z[j][i] w[j][i]ᵀx b[j][i]其中 w 为系数、b 为偏置、z 为输出变量激活函数为模型引入非线性文档给出四种最常用激活函数Sigmoidg(z) 1/(1 e⁻ᶻ)、Tanhg(z) (eᶻ − e⁻ᶻ)/(eᶻ e⁻ᶻ)、ReLUg(z) max(0, z)、Leaky ReLUg(z) max(εz, z)ε ≪ 1交叉熵损失神经网络常用的目标函数L(z, y) −[y·log(z) (1 − y)·log(1 − z)]学习率记作 α 或 η决定系数更新速度可固定也可可变文档特别点名Adam是当前最流行的自适应学习率方法之一反向传播Rétropropagation通过比较实际输出与期望输出更新系数利用链式法则求导∂L/∂w (∂L/∂a)·(∂a/∂z)·(∂z/∂w)随后w ← w − η·∂L/∂w系数更新流程第一步取一批训练观测第二步前向传播得到损失第三步进行反向传播后文继续完成梯度计算与参数更新。从超级速查表目录第 8–9 页可见深度学习板块还涵盖卷积神经网络CNN、**循环神经网络RNN与强化学习Reinforcement Learning**三个小节构成完整的深度学习知识面。五、VIP 速查表四机器学习小技巧速查表fr/pense-bete-machine-learning-petites-astuces.pdf3 页是实战导向最强的一张面向训练模型时的评估与调试。5.1 分类场景的评估指标混淆矩阵Matrice de confusion四象限完整刻画模型表现——真正例 TP、假正例 FP第一类错误、真负例 TN、假负例 FN第二类错误核心指标表Accuracy(TP TN)/(TP TN FP FN)模型整体性能、PrecisionTP/(TP FP)正预测的精确程度、RecallTP/(TP FN)真正例的覆盖程度、SpecificityTN/(TN FP)真负例的覆盖程度、F1 分数2TP/(2TP FP FN)面向不平衡类的混合指标ROC 曲线与 AUCROC受试者工作特征曲线通过变动阈值描绘真正例率 TPR 与假正例率 FPR 的关系其中 TPR Recall SensitivityFPR FP/(TN FP) 1 − Specificity**AUC曲线下面积又称 AUROC**则是 ROC 曲线下的面积用于整体衡量分类能力。5.2 回归场景的评估指标三类平方和总平方和SStot Σᵢ (yi − ȳ)²、解释平方和SSreg Σᵢ (f(xi) − ȳ)²、残差平方和SSres Σᵢ (yi − f(xi))²决定系数R² 1 − SSres/SStot度量模型的拟合质量。此外从超级速查表目录第 10–11 页可以确认小技巧板块还包含**模型选择Sélection de modèle与诊断Diagnostics**两节帮助读者在偏差/方差权衡、交叉验证与误差分析层面做出决策。六、VIP 复习手册概率统计与代数分析两张复习手册解决课程的前置数学知识是阅读前四张速查表的地基。6.1 概率与统计复习fr/rappels-probabilites-statistiques.pdf3 页从概率论公理讲到随机变量概率空间与事件所有可能结果构成样本空间 SS 的任一子集 E 称为事件三条概率公理为0 ≤ P(E) ≤ 1、P(S) 1、互斥事件并的概率等于概率之和组合计数排列P(n, r) n!/(n − r)!顺序有关组合C(n, r) P(n, r)/r! n!/(r!(n − r)!)顺序无关且当0 ≤ r ≤ n时P(n, r) ≥ C(n, r)条件概率贝叶斯定理P(A|B) P(B|A)P(A)/P(B)且有P(A ∩ B) P(A)P(B|A)对样本空间的一个划分{Ai}两两不交且并集为 S有全概率公式P(B) Σᵢ P(B|Ai)P(Ai)与扩展贝叶斯公式P(Ak|B) P(B|Ak)P(Ak) / Σᵢ P(B|Ai)P(Ai)事件 A、B 独立当且仅当P(A ∩ B) P(A)P(B)随机变量将样本空间映射到实数的函数分布函数CDFF(x) P(X ≤ x)单调递增且满足lim_{x→−∞}F(x) 0、lim_{x→∞}F(x) 1并有P(a X ≤ b) F(b) − F(a)概率密度PDF则描述连续随机变量的密度分布。6.2 线性代数与分析复习fr/rappels-algebre-analyse.pdf2 页按照标题所声明的两大主题——线性代数Algèbre linéaire与分析/微积分Analyse——组织记号向量x ∈ Rⁿ第 i 个分量xi、矩阵A ∈ Rᵐˣⁿ第 i 行第 j 列元素Ai,j向量可视为 n × 1 列向量单位阵I 为对角线上全 1、其余全 0 的方阵满足A·I I·A A对角阵D diag(d1, ..., dn)仅对角线非零矩阵运算向量-向量有内积点积xᵀy Σᵢ xᵢyᵢ ∈ R与外积xyᵀ ∈ Rᵐˣⁿ矩阵-向量乘积Ax可表示为行向量视角aᵀ_{r,i}·x构成结果向量的各行或列向量视角Ax Σᵢ a_{c,i}·xi矩阵-矩阵乘积AB Σᵢ a_{c,i}bᵀ_{r,i}转置(Aᵀ)ᵢ,ⱼ Aⱼ,ᵢ且(AB)ᵀ BᵀAᵀ逆矩阵可逆方阵 A 满足AA⁻¹ A⁻¹A I注意并非所有方阵都可逆且(AB)⁻¹ B⁻¹A⁻¹迹tr(A) Σᵢ Aᵢ,ᵢ为对角元素之和。七、超级速查表16 页浓缩全课程fr/super-pense-bete-machine-learning.pdf16 页是法语版的终极合订本把前述全部概念汇集到一份文档中目录结构完整呈现了课程的四大板块监督学习第 2–5 页监督学习简介、记号与通用概念线性回归、分类与逻辑回归、GLM、SVM、生成学习GDA、朴素贝叶斯、树与集成方法、非参数方法、学习理论非监督学习第 6–7 页简介、聚类EM、k-means、层次聚类、聚类评估指标、降维PCA、ICA深度学习第 8–9 页神经网络、卷积神经网络CNN、循环神经网络RNN、强化学习机器学习小技巧第 10 页起分类指标、回归指标、模型选择、诊断。这份 16 页文档适合在复习冲刺、面试准备或工程开发时随身携带一张 PDF 即可快速回溯课程全部核心公式与概念。八、授权与使用方式法语版资源与仓库根目录一致采用MIT 许可证见 fr/LICENSE版权归 Afshine Amidi 与 Shervine Amidi2018所有允许自由使用、复制、修改与再分发。资源作者为 Afshine Amidi巴黎中央理工学院、MIT与 Shervine Amidi巴黎中央理工学院、斯坦福大学。获取与使用这套法语速查表非常简单直接克隆仓库后打开fr/目录下的任意 PDF 即可离线阅读例如git clone https://gitcode.com/GitHub_Trending/st/stanford-cs-229-machine-learning # 打开 fr/pense-bete-apprentissage-supervise.pdf 等任意速查表即可使用如果你更习惯英文或中文可以对照阅读 en/、zh/ 与 zh-tw/ 对应目录下的同名资源法语版与各语言版本在主题结构上保持一致便于交叉对照复习斯坦福 CS 229 的完整知识体系。赞分享文档教程机器学习【免费下载链接】stanford-cs-229-machine-learningVIP cheatsheets for Stanfords CS 229 Machine Learning项目地址https://gitcode.com/GitHub_Trending/st/stanford-cs-229-machine-learning点击查看免费下载相关推荐现代 JavaScript 教程生成器、迭代器与 ES Modules——组织大型代码的关键现代 JavaScript 教程生成器、迭代器与 ES Modules——组织大型代码的关键 本文来自《现代 JavaScript 教程》的学习指南面向新手文档教程机器学习Stanford CS 229 西班牙语机器学习速查表仓库es/README.md完整导读与内容详解Stanford CS 229 西班牙语机器学习速查表仓库es/README.md完整导读与内容详解 本指南以 es/README.md https://l文档教程机器学习终极指南Stanford CS 229机器学习完整学习路径与速查宝典终极指南Stanford CS 229机器学习完整学习路径与速查宝典 想要系统学习机器学习却不知从何开始Stanford CS 229机器学习速查宝典为你提文档教程机器学习上一篇Type-Fest 中的缓存策略Redis 类型定义与操作下一篇Lit 如何用 lit-labs/rollup-plugin-minify-html-literals 压缩构建产物中的 html 与 css 模板字面量创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考