1. 从“头歌实训”到逻辑回归一个机器学习新手的实战起点如果你正在学习机器学习尤其是刚刚接触分类算法那么“逻辑回归”这个名字你一定不陌生。它常常被放在线性回归之后讲解是很多人进入分类世界的第一个正式算法。但很多教程和课程包括一些知名的在线平台往往把重点放在了公式推导和数学原理上导致很多学习者虽然能看懂公式却不知道如何用代码一步步实现更不清楚在实际数据上会遇到哪些“坑”。最近我在辅导一些同学完成“头歌实训”平台的机器学习任务时发现逻辑回归这个看似简单的算法恰恰是新手从理论迈向实践的第一个“拦路虎”。这个实训任务本身可能只提供了一个框架或几个待填空的代码块但背后隐藏的是如何将数学公式转化为可运行的代码、如何处理数据、如何评估模型这一整套工程化思维。今天我就结合这个常见的实训场景抛开复杂的数学外壳带你手把手、接地气地走一遍逻辑回归的完整实现与调优过程。你会发现它不仅是算法更是一套解决问题的标准流程。2. 逻辑回归的本质为什么叫“回归”却干着“分类”的活在开始敲代码之前我们必须先搞清楚一个根本问题逻辑回归明明是做分类的为什么名字里带着“回归”二字这个问题不搞清楚后面的理解都会很别扭。2.1 线性回归的延伸与局限我们先回想一下线性回归。它的目标是找到一条直线或超平面$y \theta^T x$使得预测值$y$和真实值尽可能接近。这里的$y$是连续的比如预测房价、销量。但如果我们要预测一个离散的结果比如“是否生病”0或1、“是哪一类动物”猫、狗、兔直接把线性回归的连续值输出当作类别判断就会出问题。线性回归的输出范围是$(-\infty, \infty)$而概率值需要在[0,1]之间类别标签是离散的整数。2.2 Sigmoid函数将任意值压缩到概率区间逻辑回归的精髓就在于引入了一个“激活函数”——Sigmoid函数也叫Logistic函数。它的公式是 $g(z) \frac{1}{1 e^{-z}}$ 这个函数长得很像一个拉长的“S”形曲线。它的魔力在于无论输入$z$即线性回归的结果$\theta^T x$是多少是正无穷大还是负无穷大经过它的处理输出都会被稳稳地压缩到0和1之间。你可以把它想象成一个非常公平的“概率转换器”。当 $z$ 趋近于正无穷时$e^{-z}$ 趋近于0因此 $g(z)$ 趋近于1。当 $z$ 趋近于负无穷时$e^{-z}$ 趋近于正无穷因此 $g(z)$ 趋近于0。当 $z 0$ 时$g(z) 0.5$。于是逻辑回归的完整形式就变成了$h_{\theta}(x) g(\theta^T x) \frac{1}{1 e^{-\theta^T x}}$。这里的 $h_{\theta}(x)$ 就可以被解释为“给定输入特征$x$其类别标签为1的概率”即 $P(y1|x;\theta)$。注意这里存在一个初学者常见的误解认为Sigmoid函数是逻辑回归独有的。实际上它是连接线性回归与概率模型的桥梁。理解了这个你就能明白逻辑回归可以看作是在用线性回归的模型去拟合数据对数几率log-odds的结果。2.3 决策边界概率到类别的临门一脚模型输出了概率我们怎么得到最终的分类结果呢这就需要设定一个阈值通常是0.5。如果 $h_{\theta}(x) \geq 0.5$我们预测 $y1$。如果 $h_{\theta}(x) 0.5$我们预测 $y0$。由于 $h_{\theta}(x) \geq 0.5$ 等价于 $\theta^T x \geq 0$所以这个决策边界实际上是一个线性边界$\theta^T x 0$。在二维特征空间里它就是一条直线在三维空间里它是一个平面。这就是为什么逻辑回归本质上是一个线性分类器。它能解决的问题是那些类别可以通过一条直线或平面大致分开的问题。3. 实战准备构建你的第一个逻辑回归模型环境理论聊完了我们进入实战。假设你现在就在“头歌实训”的代码编辑界面或者在自己的Jupyter Notebook里我们一步步来。我以Python生态为例因为这是目前机器学习实践的主流。3.1 核心工具库的选择与安装对于逻辑回归我们不需要一开始就动用TensorFlow或PyTorch这样的深度学习框架。科学计算的基础库和Scikit-learn就完全足够了。# 通常使用pip安装如果你的实训环境已提供则可跳过 pip install numpy pandas matplotlib scikit-learnNumPy 所有数值计算的基石。我们的数据、参数向量、矩阵运算全都依赖它。务必熟悉它的数组ndarray操作。Pandas 数据处理的瑞士军刀。用于加载、清洗、探索结构化数据如CSV文件。在实训中数据很可能以DataFrame的形式给你。Matplotlib/Seaborn 数据可视化。画图查看数据分布、决策边界是理解模型和调试的必备技能。Scikit-learn 核心中的核心。它提供了LogisticRegression这个高度优化的现成类。但在实训中你很可能被要求从零实现所以我们后续会重点讲手动实现。不过用它来验证我们手写模型的正确性是极好的方法。3.2 数据逻辑回归的“食粮”任何模型都离不开数据。实训平台通常会提供一个数据集比如经典的鸢尾花数据集Iris用于多分类或者乳腺癌数据集Breast Cancer用于二分类。我们以二分类为例因为这是逻辑回归最自然的形式。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.datasets import load_breast_cancer # 加载内置的乳腺癌数据集 data load_breast_cancer() X data.data # 特征矩阵形状 (n_samples, n_features) y data.target # 标签向量0表示恶性1表示良性 # 查看数据基本信息 print(f特征形状: {X.shape}) # 通常是(569, 30) print(f标签类别分布: {np.bincount(y)}) # 查看两类分别有多少样本 # 划分训练集和测试集非常重要 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) print(f训练集大小: {X_train.shape}, 测试集大小: {X_test.shape})注意random_state参数固定了随机种子这能确保每次运行代码时数据集的划分方式是一样的从而使你的结果可复现。这在做实验和提交作业时至关重要。3.3 特征工程前传标准化逻辑回归的损失函数我们后面会讲虽然不像SVM或KNN那样对尺度极度敏感但进行特征标准化Standardization依然是一个好习惯。它能让梯度下降等优化算法收敛得更快、更稳。标准化通常是指将每个特征减去其均值再除以其标准差使得处理后的特征数据符合标准正态分布均值为0标准差为1。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 在训练集上计算均值和标准差并转换 X_test_scaled scaler.transform(X_test) # 使用训练集的参数转换测试集避免数据泄露 # 切记测试集的标准化必须使用训练集拟合出来的scaler这是原则性问题。4. 核心实现从零手撕逻辑回归算法这是实训的核心环节。我们将不借助sklearn.linear_model.LogisticRegression自己实现模型训练和预测的全过程。4.1 模型定义Sigmoid与假设函数首先我们把核心的Sigmoid函数和假设函数写出来。def sigmoid(z): 计算Sigmoid函数值。 # 为了防止数值溢出当z为很大的负数时e^z会溢出我们做一个稳定化处理 # 使用 np.clip 将z限制在一个合理的范围内或者使用更稳定的实现 # return 1 / (1 np.exp(-np.clip(z, -250, 250))) return 1 / (1 np.exp(-z)) def hypothesis(X, theta): 计算逻辑回归的假设函数 h_theta(x) sigmoid(theta^T * x)。 # X: (m, n) 特征矩阵m是样本数n是特征数已包含偏置项 # theta: (n, ) 参数向量 z np.dot(X, theta) # 线性组合 return sigmoid(z)这里有一个关键细节偏置项Intercept。参数向量$\theta$的第一个元素$\theta_0$通常是偏置项它对应的特征$x_0$恒等于1。因此我们需要在特征矩阵X的最前面加上一列1。def add_intercept(X): 在特征矩阵X前添加一列1用于偏置项。 intercept np.ones((X.shape[0], 1)) return np.hstack((intercept, X)) X_train_with_intercept add_intercept(X_train_scaled) X_test_with_intercept add_intercept(X_test_scaled) # 现在 X_train_with_intercept 的形状是 (m, n1)4.2 损失函数交叉熵损失及其推导逻辑回归不使用线性回归的均方误差MSE作为损失函数因为那会导致损失函数非凸难以优化。它使用的是交叉熵损失Cross-Entropy Loss也叫对数损失Log Loss。对于一个样本$(x^{(i)}, y^{(i)})$其损失为 $Cost(h_{\theta}(x^{(i)}), y^{(i)}) -[y^{(i)} \log(h_{\theta}(x^{(i)})) (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)}))]$直观理解如果真实标签 $y1$损失就是 $-\log(h_{\theta}(x))$。预测概率$h_{\theta}(x)$越接近1损失越接近0预测概率越接近0损失会趋向无穷大。这很好因为预测错了就要重罚。如果真实标签 $y0$损失就是 $-\log(1-h_{\theta}(x))$。预测概率$h_{\theta}(x)$越接近0损失越接近0预测概率越接近1损失趋向无穷大。对所有训练样本求平均得到代价函数 $J(\theta) -\frac{1}{m} \sum_{i1}^{m} [y^{(i)} \log(h_{\theta}(x^{(i)})) (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)}))]$def compute_cost(X, y, theta): 计算交叉熵损失。 m len(y) # 样本数量 h hypothesis(X, theta) # 计算预测概率 # 为了避免log(0)导致数值错误NaN给h一个极小的偏移量 epsilon 1e-15 h np.clip(h, epsilon, 1 - epsilon) cost - (1/m) * np.sum(y * np.log(h) (1 - y) * np.log(1 - h)) return cost4.3 参数更新梯度下降算法我们的目标是找到一组参数$\theta$使得代价函数$J(\theta)$最小。梯度下降Gradient Descent是最常用的方法。其核心思想是沿着当前点损失函数下降最快的方向负梯度方向更新参数。对代价函数$J(\theta)$求关于参数$\theta_j$的偏导数经过推导这里省略推导过程但建议你亲手推一遍可以得到一个非常简洁的梯度公式 $\frac{\partial J(\theta)}{\partial \theta_j} \frac{1}{m} \sum_{i1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)}$用向量形式表示整个梯度向量 $\nabla_{\theta} J(\theta) \frac{1}{m} X^T (h_{\theta}(X) - y)$这个形式和线性回归的梯度形式一模一样这是巧合吗不是这是广义线性模型GLM性质决定的。有了梯度参数更新规则为 $\theta : \theta - \alpha \nabla_{\theta} J(\theta)$ 其中$\alpha$是学习率Learning Rate控制每一步更新的幅度。def gradient_descent(X, y, theta, learning_rate, num_iterations): 使用批量梯度下降优化逻辑回归参数。 m len(y) cost_history [] # 记录每次迭代的损失用于可视化 for i in range(num_iterations): h hypothesis(X, theta) # 当前预测概率 gradient (1/m) * np.dot(X.T, (h - y)) # 计算梯度 theta theta - learning_rate * gradient # 更新参数 cost compute_cost(X, y, theta) # 计算当前损失 cost_history.append(cost) # 每100次迭代打印一次损失方便观察 if i % 100 0: print(fIteration {i}: Cost {cost:.6f}) return theta, cost_history4.4 训练模型与预测现在我们把所有部件组装起来开始训练。# 初始化参数 theta通常初始化为0或很小的随机数 np.random.seed(42) # 固定随机种子保证结果可复现 initial_theta np.zeros(X_train_with_intercept.shape[1]) # 参数个数 特征数 1 (偏置) # 设置超参数 learning_rate 0.01 num_iterations 1000 # 开始训练 theta_trained, cost_history gradient_descent( X_train_with_intercept, y_train, initial_theta, learning_rate, num_iterations ) print(f训练完成最终参数 theta 的形状: {theta_trained.shape})训练完成后我们可以用学习到的参数进行预测。def predict(X, theta, threshold0.5): 根据训练好的参数进行预测。 probabilities hypothesis(X, theta) # 计算概率 # 将概率根据阈值转换为类别标签 return (probabilities threshold).astype(int) # 在训练集和测试集上进行预测 y_train_pred predict(X_train_with_intercept, theta_trained) y_test_pred predict(X_test_with_intercept, theta_trained)5. 模型评估你的模型真的“学会”了吗模型训练出来不能光看损失下降就完事了。我们必须用一些客观的指标来评估它在未知数据测试集上的表现。这是机器学习工作流中至关重要的一环。5.1 基础评估指标准确率、精确率、召回率、F1准确率 (Accuracy) 预测正确的样本占总样本的比例。这是最直观的指标但在类别不平衡的数据集上可能会失真。Accuracy (TP TN) / (TP TN FP FN)精确率 (Precision)在所有被模型预测为正类的样本中真正是正类的比例。它关注的是预测的“准确性”。比如在垃圾邮件检测中我们关心被判定为垃圾邮件的邮件里有多少真的是垃圾邮件。Precision TP / (TP FP)召回率 (Recall)在所有真实的正类样本中被模型正确预测出来的比例。它关注的是模型的“查全率”。比如在疾病筛查中我们关心所有患病的人里有多少被成功检测出来了。Recall TP / (TP FN)F1分数 (F1-Score) 精确率和召回率的调和平均数。当精确率和召回率都重要且需要找一个平衡点时F1分数是一个很好的综合指标。F1 2 * (Precision * Recall) / (Precision Recall)这里TP、TN、FP、FN分别代表真阳性、真阴性、假阳性、假阴性。我们可以用Scikit-learn快速计算这些指标并与我们手写的预测结果对比。from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix print( 在测试集上的表现 ) print(f准确率: {accuracy_score(y_test, y_test_pred):.4f}) print(f精确率: {precision_score(y_test, y_test_pred):.4f}) # 默认对正类1计算 print(f召回率: {recall_score(y_test, y_test_pred):.4f}) print(fF1分数: {f1_score(y_test, y_test_pred):.4f}) # 混淆矩阵能给我们更直观的反馈 cm confusion_matrix(y_test, y_test_pred) print(混淆矩阵:) print(cm) # 通常格式为 # [[TN FP] # [FN TP]]5.2 更深入的评估工具ROC曲线与AUC对于二分类模型尤其是输出概率的模型如逻辑回归ROC曲线和AUC是更强大的评估工具。ROC曲线 全称是“受试者工作特征曲线”。它以**假正率False Positive Rate, FPR**为横轴**真正率True Positive Rate, TPR即召回率**为纵轴。通过不断改变分类阈值从1到0得到一系列(FPR, TPR)点连起来就是ROC曲线。AUC 即ROC曲线下的面积。AUC的取值范围在0.5到1之间。AUC 0.5 模型没有区分能力相当于随机猜测。AUC 1 模型是完美的分类器。AUC越接近1模型性能越好。AUC有一个很好的概率解释随机选取一个正样本和一个负样本模型对正样本的预测概率高于负样本的概率。from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 计算测试集的预测概率而非类别 y_test_prob hypothesis(X_test_with_intercept, theta_trained) # 计算ROC曲线的点 fpr, tpr, thresholds roc_curve(y_test, y_test_prob) roc_auc auc(fpr, tpr) # 绘制ROC曲线 plt.figure(figsize(8, 6)) plt.plot(fpr, tpr, colordarkorange, lw2, labelfROC curve (AUC {roc_auc:.4f})) plt.plot([0, 1], [0, 1], colornavy, lw2, linestyle--, labelRandom Guess) plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(Receiver Operating Characteristic (ROC) Curve) plt.legend(loclower right) plt.grid(True, alpha0.3) plt.show()通过观察ROC曲线和AUC值你可以更全面地评估模型在不同阈值下的表现而不仅仅依赖于默认的0.5阈值。6. 进阶话题与实战避坑指南当你成功跑通一个基础版本后接下来就会遇到各种实际问题。这部分内容往往是实训和教程里不会细讲的“坑”。6.1 学习率与迭代次数如何设置在梯度下降中学习率learning_rate和迭代次数num_iterations是最关键的超参数。学习率太大 损失函数可能会在最小值附近震荡甚至发散损失值变得无穷大。你会看到损失值上下跳动不收敛。学习率太小 收敛速度极慢需要非常多的迭代次数才能达到最小值浪费计算资源。实操建议先尝试一个常用的小值比如0.01、0.001。绘制损失函数下降曲线。这是最重要的调试工具如果曲线平滑下降说明学习率合适如果震荡就调小学习率如果下降极其缓慢可以适当调大。使用自适应学习率算法。我们实现的是最基础的批量梯度下降BGD。在实际中更常用的是小批量梯度下降Mini-batch GD或Adam等优化器它们能自动调整学习率。在Scikit-learn的LogisticRegression中优化算法是高度优化的通常不需要我们手动调。# 绘制损失下降曲线检查学习率是否合适 plt.figure(figsize(10, 6)) plt.plot(range(len(cost_history)), cost_history, b-, linewidth2) plt.xlabel(Iteration) plt.ylabel(Cost) plt.title(Gradient Descent: Cost vs. Iteration) plt.grid(True, alpha0.3) plt.show()6.2 过拟合与正则化给模型“刹车”当模型在训练集上表现很好但在测试集上表现很差时很可能发生了过拟合。模型过于复杂记住了训练数据的噪声导致泛化能力差。解决方案正则化。在逻辑回归的代价函数中加入一个惩罚项限制参数$\theta$的大小通常不考虑偏置项$\theta_0$。L2正则化岭回归 惩罚项为 $\frac{\lambda}{2m} \sum_{j1}^{n} \theta_j^2$。它会让所有参数都趋向于较小的值但通常不会精确为0。L1正则化Lasso回归 惩罚项为 $\frac{\lambda}{m} \sum_{j1}^{n} |\theta_j|$。它倾向于产生稀疏解即让一些不重要的特征对应的参数直接变为0起到特征选择的作用。加入L2正则化后的代价函数为 $J(\theta) -\frac{1}{m} \sum_{i1}^{m} [y^{(i)} \log(h_{\theta}(x^{(i)})) (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)}))] \frac{\lambda}{2m} \sum_{j1}^{n} \theta_j^2$对应的梯度也需要更新对$\theta_j, j0$ $\frac{\partial J(\theta)}{\partial \theta_j} \frac{1}{m} \sum_{i1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)} \frac{\lambda}{m} \theta_j$def compute_cost_with_regularization(X, y, theta, lambda_reg): 计算带L2正则化的交叉熵损失。 m len(y) h hypothesis(X, theta) epsilon 1e-15 h np.clip(h, epsilon, 1 - epsilon) # 计算基础损失 cost - (1/m) * np.sum(y * np.log(h) (1 - y) * np.log(1 - h)) # 加上正则化项注意通常不惩罚偏置项 theta[0] reg_cost (lambda_reg / (2 * m)) * np.sum(theta[1:] ** 2) return cost reg_cost def gradient_descent_with_regularization(X, y, theta, learning_rate, num_iterations, lambda_reg): 带L2正则化的梯度下降。 m len(y) cost_history [] for i in range(num_iterations): h hypothesis(X, theta) gradient (1/m) * np.dot(X.T, (h - y)) # 对除偏置项外的参数添加正则化梯度 gradient[1:] gradient[1:] (lambda_reg / m) * theta[1:] theta theta - learning_rate * gradient cost compute_cost_with_regularization(X, y, theta, lambda_reg) cost_history.append(cost) return theta, cost_history正则化强度$\lambda$是一个超参数需要通过交叉验证来选择。太大的$\lambda$会导致欠拟合所有参数都趋近于0模型变成常数太小的$\lambda$则起不到防止过拟合的作用。6.3 类别不平衡问题当正负样本比例悬殊在真实数据中正负样本数量可能相差很大比如欺诈检测中正常交易远多于欺诈交易。此时准确率这个指标会失效比如99%的样本都是负类模型全预测负类也能有99%的准确率但这毫无意义。应对策略使用更合适的评估指标 优先看精确率、召回率、F1分数和AUC而不是准确率。调整分类阈值 默认0.5的阈值可能不再适用。通过ROC曲线或精确率-召回率曲线PR Curve选择一个在业务上更合理的阈值。例如在疾病筛查中我们可能更看重召回率不漏检愿意承受一定的假阳性误诊代价因此可以降低阈值。重采样数据过采样 增加少数类样本的副本或生成合成样本如SMOTE算法。欠采样 随机减少多数类样本的数量。注意过采样和欠采样都要只在训练集上进行测试集必须保持原始分布以评估真实性能。使用类别权重 大多数机器学习库包括Scikit-learn的算法都支持class_weight参数。通过给少数类样本的损失赋予更高的权重让模型在训练时更关注它们。在逻辑回归中这相当于修改了损失函数。在Scikit-learn中可以轻松实现from sklearn.linear_model import LogisticRegression # 使用‘balanced’模式自动根据类别频率调整权重 model LogisticRegression(class_weightbalanced, max_iter1000) model.fit(X_train_scaled, y_train) # 或者手动指定权重例如 {0: 1, 1: 5} 表示类别1的权重是类别0的5倍6.4 从二分类到多分类One-vs-Rest策略逻辑回归本质上是二分类器。那如何解决像鸢尾花数据集3类这样的多分类问题呢最常用的策略是One-vs-Rest (OvR)或One-vs-All。原理 假设有K个类别。我们训练K个独立的二分类逻辑回归模型。对于第i个模型我们将第i类样本作为正类其余所有类别的样本作为负类。在预测时将新样本输入这K个模型得到K个“属于该类”的概率最后选择概率最高的那个类别作为最终预测结果。Scikit-learn的LogisticRegression在设置multi_classovr时默认值内部就是采用这种策略。from sklearn.datasets import load_iris from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split iris load_iris() X_multi, y_multi iris.data, iris.target X_train_m, X_test_m, y_train_m, y_test_m train_test_split(X_multi, y_multi, test_size0.2, random_state42) # 标准化 scaler_m StandardScaler() X_train_m_scaled scaler_m.fit_transform(X_train_m) X_test_m_scaled scaler_m.transform(X_test_m) # 使用逻辑回归进行多分类 model_multi LogisticRegression(multi_classovr, max_iter1000) model_multi.fit(X_train_m_scaled, y_train_m) print(多分类准确率:, model_multi.score(X_test_m_scaled, y_test_m)) # 查看预测的概率每一行对应一个样本每一列对应一个类别的概率 print(预测概率示例:\n, model_multi.predict_proba(X_test_m_scaled[:3]))7. 与Scikit-learn官方实现对比与验证自己实现一遍后再用Scikit-learn的官方实现跑一遍对比结果是检验自己代码正确性的最好方法也能学习工业级代码的优化技巧。from sklearn.linear_model import LogisticRegression as SKLogisticRegression # 使用与我们手写实现相似的无正则化配置注意sklearn默认使用L2正则化这里将C设得很大以减弱其影响 # C是正则化强度的倒数C越大正则化越弱。 sk_model SKLogisticRegression(penaltyl2, C1e10, solverlbfgs, max_iter1000, random_state42) # 注意sklearn默认会添加偏置项且内部可能对数据有标准化等处理但我们已经标准化过了。 sk_model.fit(X_train_scaled, y_train) # 比较参数 print( 参数对比 ) print(f手写模型参数 (前5个): {theta_trained[:5]}) print(fSklearn模型参数 (coef_): {sk_model.coef_[0][:5]}) print(fSklearn模型偏置 (intercept_): {sk_model.intercept_[0]:.6f}) print(f手写模型偏置 (theta[0]): {theta_trained[0]:.6f}) # 比较预测准确率 y_pred_sk sk_model.predict(X_test_scaled) print(f\n 性能对比 ) print(f手写模型测试集准确率: {accuracy_score(y_test, y_test_pred):.4f}) print(fSklearn模型测试集准确率: {accuracy_score(y_test, y_pred_sk):.4f})你可能会发现参数值不完全一样这很正常。原因可能包括优化算法不同 我们用的是批量梯度下降而Scikit-learn默认使用更高级的优化器如lbfgs。收敛标准和迭代次数 两者的停止条件可能不同。数值精度和初始化 随机初始化和浮点数计算会带来微小差异。 只要准确率、AUC等性能指标非常接近就说明你的手写实现基本是正确的。8. 项目总结与延伸思考走完这一整套流程你应该对逻辑回归不再感到陌生和畏惧。它不仅仅是一个公式而是一个包含数据准备、模型定义、损失函数设计、优化算法实现、模型评估、调优避坑的完整项目闭环。在“头歌实训”这类平台上任务可能只覆盖了其中几个环节但你自己动手实现全流程收获是截然不同的。我个人的体会是机器学习入门阶段最大的障碍不是数学而是将理论映射到代码的工程化思维。比如理解为什么要给特征矩阵加一列1为什么要对梯度进行向量化计算以提升效率为什么测试集标准化必须用训练集的参数。这些细节才是从“看懂”到“会做”的关键。最后关于逻辑回归还有几个方向值得你继续探索其他优化算法 尝试实现随机梯度下降SGD和小批量梯度下降并比较它们的收敛速度和效果。不同的正则化 实现L1正则化Lasso观察它如何产生稀疏解并尝试用坐标下降法来求解。更复杂的特征 逻辑回归是线性模型但可以通过特征工程引入多项式特征、交互项等使其能拟合非线性决策边界。这在实践中非常有用。从广义线性模型GLM视角理解 逻辑回归是广义线性模型的一种联系指数族分布这个视角能帮你理解为什么它的损失函数是交叉熵。逻辑回归作为基石其思想贯穿了许多更复杂的模型如神经网络中的单个神经元。扎扎实实练好它你未来的机器学习之路会顺畅很多。下次当你再看到“头歌实训-逻辑回归”这样的任务时你看到的将不再是一行行待填的代码而是一个可以自由发挥、深入探究的完整项目蓝图。
1. 从“头歌实训”到逻辑回归一个机器学习新手的实战起点如果你正在学习机器学习尤其是刚刚接触分类算法那么“逻辑回归”这个名字你一定不陌生。它常常被放在线性回归之后讲解是很多人进入分类世界的第一个正式算法。但很多教程和课程包括一些知名的在线平台往往把重点放在了公式推导和数学原理上导致很多学习者虽然能看懂公式却不知道如何用代码一步步实现更不清楚在实际数据上会遇到哪些“坑”。最近我在辅导一些同学完成“头歌实训”平台的机器学习任务时发现逻辑回归这个看似简单的算法恰恰是新手从理论迈向实践的第一个“拦路虎”。这个实训任务本身可能只提供了一个框架或几个待填空的代码块但背后隐藏的是如何将数学公式转化为可运行的代码、如何处理数据、如何评估模型这一整套工程化思维。今天我就结合这个常见的实训场景抛开复杂的数学外壳带你手把手、接地气地走一遍逻辑回归的完整实现与调优过程。你会发现它不仅是算法更是一套解决问题的标准流程。2. 逻辑回归的本质为什么叫“回归”却干着“分类”的活在开始敲代码之前我们必须先搞清楚一个根本问题逻辑回归明明是做分类的为什么名字里带着“回归”二字这个问题不搞清楚后面的理解都会很别扭。2.1 线性回归的延伸与局限我们先回想一下线性回归。它的目标是找到一条直线或超平面$y \theta^T x$使得预测值$y$和真实值尽可能接近。这里的$y$是连续的比如预测房价、销量。但如果我们要预测一个离散的结果比如“是否生病”0或1、“是哪一类动物”猫、狗、兔直接把线性回归的连续值输出当作类别判断就会出问题。线性回归的输出范围是$(-\infty, \infty)$而概率值需要在[0,1]之间类别标签是离散的整数。2.2 Sigmoid函数将任意值压缩到概率区间逻辑回归的精髓就在于引入了一个“激活函数”——Sigmoid函数也叫Logistic函数。它的公式是 $g(z) \frac{1}{1 e^{-z}}$ 这个函数长得很像一个拉长的“S”形曲线。它的魔力在于无论输入$z$即线性回归的结果$\theta^T x$是多少是正无穷大还是负无穷大经过它的处理输出都会被稳稳地压缩到0和1之间。你可以把它想象成一个非常公平的“概率转换器”。当 $z$ 趋近于正无穷时$e^{-z}$ 趋近于0因此 $g(z)$ 趋近于1。当 $z$ 趋近于负无穷时$e^{-z}$ 趋近于正无穷因此 $g(z)$ 趋近于0。当 $z 0$ 时$g(z) 0.5$。于是逻辑回归的完整形式就变成了$h_{\theta}(x) g(\theta^T x) \frac{1}{1 e^{-\theta^T x}}$。这里的 $h_{\theta}(x)$ 就可以被解释为“给定输入特征$x$其类别标签为1的概率”即 $P(y1|x;\theta)$。注意这里存在一个初学者常见的误解认为Sigmoid函数是逻辑回归独有的。实际上它是连接线性回归与概率模型的桥梁。理解了这个你就能明白逻辑回归可以看作是在用线性回归的模型去拟合数据对数几率log-odds的结果。2.3 决策边界概率到类别的临门一脚模型输出了概率我们怎么得到最终的分类结果呢这就需要设定一个阈值通常是0.5。如果 $h_{\theta}(x) \geq 0.5$我们预测 $y1$。如果 $h_{\theta}(x) 0.5$我们预测 $y0$。由于 $h_{\theta}(x) \geq 0.5$ 等价于 $\theta^T x \geq 0$所以这个决策边界实际上是一个线性边界$\theta^T x 0$。在二维特征空间里它就是一条直线在三维空间里它是一个平面。这就是为什么逻辑回归本质上是一个线性分类器。它能解决的问题是那些类别可以通过一条直线或平面大致分开的问题。3. 实战准备构建你的第一个逻辑回归模型环境理论聊完了我们进入实战。假设你现在就在“头歌实训”的代码编辑界面或者在自己的Jupyter Notebook里我们一步步来。我以Python生态为例因为这是目前机器学习实践的主流。3.1 核心工具库的选择与安装对于逻辑回归我们不需要一开始就动用TensorFlow或PyTorch这样的深度学习框架。科学计算的基础库和Scikit-learn就完全足够了。# 通常使用pip安装如果你的实训环境已提供则可跳过 pip install numpy pandas matplotlib scikit-learnNumPy 所有数值计算的基石。我们的数据、参数向量、矩阵运算全都依赖它。务必熟悉它的数组ndarray操作。Pandas 数据处理的瑞士军刀。用于加载、清洗、探索结构化数据如CSV文件。在实训中数据很可能以DataFrame的形式给你。Matplotlib/Seaborn 数据可视化。画图查看数据分布、决策边界是理解模型和调试的必备技能。Scikit-learn 核心中的核心。它提供了LogisticRegression这个高度优化的现成类。但在实训中你很可能被要求从零实现所以我们后续会重点讲手动实现。不过用它来验证我们手写模型的正确性是极好的方法。3.2 数据逻辑回归的“食粮”任何模型都离不开数据。实训平台通常会提供一个数据集比如经典的鸢尾花数据集Iris用于多分类或者乳腺癌数据集Breast Cancer用于二分类。我们以二分类为例因为这是逻辑回归最自然的形式。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.datasets import load_breast_cancer # 加载内置的乳腺癌数据集 data load_breast_cancer() X data.data # 特征矩阵形状 (n_samples, n_features) y data.target # 标签向量0表示恶性1表示良性 # 查看数据基本信息 print(f特征形状: {X.shape}) # 通常是(569, 30) print(f标签类别分布: {np.bincount(y)}) # 查看两类分别有多少样本 # 划分训练集和测试集非常重要 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) print(f训练集大小: {X_train.shape}, 测试集大小: {X_test.shape})注意random_state参数固定了随机种子这能确保每次运行代码时数据集的划分方式是一样的从而使你的结果可复现。这在做实验和提交作业时至关重要。3.3 特征工程前传标准化逻辑回归的损失函数我们后面会讲虽然不像SVM或KNN那样对尺度极度敏感但进行特征标准化Standardization依然是一个好习惯。它能让梯度下降等优化算法收敛得更快、更稳。标准化通常是指将每个特征减去其均值再除以其标准差使得处理后的特征数据符合标准正态分布均值为0标准差为1。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 在训练集上计算均值和标准差并转换 X_test_scaled scaler.transform(X_test) # 使用训练集的参数转换测试集避免数据泄露 # 切记测试集的标准化必须使用训练集拟合出来的scaler这是原则性问题。4. 核心实现从零手撕逻辑回归算法这是实训的核心环节。我们将不借助sklearn.linear_model.LogisticRegression自己实现模型训练和预测的全过程。4.1 模型定义Sigmoid与假设函数首先我们把核心的Sigmoid函数和假设函数写出来。def sigmoid(z): 计算Sigmoid函数值。 # 为了防止数值溢出当z为很大的负数时e^z会溢出我们做一个稳定化处理 # 使用 np.clip 将z限制在一个合理的范围内或者使用更稳定的实现 # return 1 / (1 np.exp(-np.clip(z, -250, 250))) return 1 / (1 np.exp(-z)) def hypothesis(X, theta): 计算逻辑回归的假设函数 h_theta(x) sigmoid(theta^T * x)。 # X: (m, n) 特征矩阵m是样本数n是特征数已包含偏置项 # theta: (n, ) 参数向量 z np.dot(X, theta) # 线性组合 return sigmoid(z)这里有一个关键细节偏置项Intercept。参数向量$\theta$的第一个元素$\theta_0$通常是偏置项它对应的特征$x_0$恒等于1。因此我们需要在特征矩阵X的最前面加上一列1。def add_intercept(X): 在特征矩阵X前添加一列1用于偏置项。 intercept np.ones((X.shape[0], 1)) return np.hstack((intercept, X)) X_train_with_intercept add_intercept(X_train_scaled) X_test_with_intercept add_intercept(X_test_scaled) # 现在 X_train_with_intercept 的形状是 (m, n1)4.2 损失函数交叉熵损失及其推导逻辑回归不使用线性回归的均方误差MSE作为损失函数因为那会导致损失函数非凸难以优化。它使用的是交叉熵损失Cross-Entropy Loss也叫对数损失Log Loss。对于一个样本$(x^{(i)}, y^{(i)})$其损失为 $Cost(h_{\theta}(x^{(i)}), y^{(i)}) -[y^{(i)} \log(h_{\theta}(x^{(i)})) (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)}))]$直观理解如果真实标签 $y1$损失就是 $-\log(h_{\theta}(x))$。预测概率$h_{\theta}(x)$越接近1损失越接近0预测概率越接近0损失会趋向无穷大。这很好因为预测错了就要重罚。如果真实标签 $y0$损失就是 $-\log(1-h_{\theta}(x))$。预测概率$h_{\theta}(x)$越接近0损失越接近0预测概率越接近1损失趋向无穷大。对所有训练样本求平均得到代价函数 $J(\theta) -\frac{1}{m} \sum_{i1}^{m} [y^{(i)} \log(h_{\theta}(x^{(i)})) (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)}))]$def compute_cost(X, y, theta): 计算交叉熵损失。 m len(y) # 样本数量 h hypothesis(X, theta) # 计算预测概率 # 为了避免log(0)导致数值错误NaN给h一个极小的偏移量 epsilon 1e-15 h np.clip(h, epsilon, 1 - epsilon) cost - (1/m) * np.sum(y * np.log(h) (1 - y) * np.log(1 - h)) return cost4.3 参数更新梯度下降算法我们的目标是找到一组参数$\theta$使得代价函数$J(\theta)$最小。梯度下降Gradient Descent是最常用的方法。其核心思想是沿着当前点损失函数下降最快的方向负梯度方向更新参数。对代价函数$J(\theta)$求关于参数$\theta_j$的偏导数经过推导这里省略推导过程但建议你亲手推一遍可以得到一个非常简洁的梯度公式 $\frac{\partial J(\theta)}{\partial \theta_j} \frac{1}{m} \sum_{i1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)}$用向量形式表示整个梯度向量 $\nabla_{\theta} J(\theta) \frac{1}{m} X^T (h_{\theta}(X) - y)$这个形式和线性回归的梯度形式一模一样这是巧合吗不是这是广义线性模型GLM性质决定的。有了梯度参数更新规则为 $\theta : \theta - \alpha \nabla_{\theta} J(\theta)$ 其中$\alpha$是学习率Learning Rate控制每一步更新的幅度。def gradient_descent(X, y, theta, learning_rate, num_iterations): 使用批量梯度下降优化逻辑回归参数。 m len(y) cost_history [] # 记录每次迭代的损失用于可视化 for i in range(num_iterations): h hypothesis(X, theta) # 当前预测概率 gradient (1/m) * np.dot(X.T, (h - y)) # 计算梯度 theta theta - learning_rate * gradient # 更新参数 cost compute_cost(X, y, theta) # 计算当前损失 cost_history.append(cost) # 每100次迭代打印一次损失方便观察 if i % 100 0: print(fIteration {i}: Cost {cost:.6f}) return theta, cost_history4.4 训练模型与预测现在我们把所有部件组装起来开始训练。# 初始化参数 theta通常初始化为0或很小的随机数 np.random.seed(42) # 固定随机种子保证结果可复现 initial_theta np.zeros(X_train_with_intercept.shape[1]) # 参数个数 特征数 1 (偏置) # 设置超参数 learning_rate 0.01 num_iterations 1000 # 开始训练 theta_trained, cost_history gradient_descent( X_train_with_intercept, y_train, initial_theta, learning_rate, num_iterations ) print(f训练完成最终参数 theta 的形状: {theta_trained.shape})训练完成后我们可以用学习到的参数进行预测。def predict(X, theta, threshold0.5): 根据训练好的参数进行预测。 probabilities hypothesis(X, theta) # 计算概率 # 将概率根据阈值转换为类别标签 return (probabilities threshold).astype(int) # 在训练集和测试集上进行预测 y_train_pred predict(X_train_with_intercept, theta_trained) y_test_pred predict(X_test_with_intercept, theta_trained)5. 模型评估你的模型真的“学会”了吗模型训练出来不能光看损失下降就完事了。我们必须用一些客观的指标来评估它在未知数据测试集上的表现。这是机器学习工作流中至关重要的一环。5.1 基础评估指标准确率、精确率、召回率、F1准确率 (Accuracy) 预测正确的样本占总样本的比例。这是最直观的指标但在类别不平衡的数据集上可能会失真。Accuracy (TP TN) / (TP TN FP FN)精确率 (Precision)在所有被模型预测为正类的样本中真正是正类的比例。它关注的是预测的“准确性”。比如在垃圾邮件检测中我们关心被判定为垃圾邮件的邮件里有多少真的是垃圾邮件。Precision TP / (TP FP)召回率 (Recall)在所有真实的正类样本中被模型正确预测出来的比例。它关注的是模型的“查全率”。比如在疾病筛查中我们关心所有患病的人里有多少被成功检测出来了。Recall TP / (TP FN)F1分数 (F1-Score) 精确率和召回率的调和平均数。当精确率和召回率都重要且需要找一个平衡点时F1分数是一个很好的综合指标。F1 2 * (Precision * Recall) / (Precision Recall)这里TP、TN、FP、FN分别代表真阳性、真阴性、假阳性、假阴性。我们可以用Scikit-learn快速计算这些指标并与我们手写的预测结果对比。from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix print( 在测试集上的表现 ) print(f准确率: {accuracy_score(y_test, y_test_pred):.4f}) print(f精确率: {precision_score(y_test, y_test_pred):.4f}) # 默认对正类1计算 print(f召回率: {recall_score(y_test, y_test_pred):.4f}) print(fF1分数: {f1_score(y_test, y_test_pred):.4f}) # 混淆矩阵能给我们更直观的反馈 cm confusion_matrix(y_test, y_test_pred) print(混淆矩阵:) print(cm) # 通常格式为 # [[TN FP] # [FN TP]]5.2 更深入的评估工具ROC曲线与AUC对于二分类模型尤其是输出概率的模型如逻辑回归ROC曲线和AUC是更强大的评估工具。ROC曲线 全称是“受试者工作特征曲线”。它以**假正率False Positive Rate, FPR**为横轴**真正率True Positive Rate, TPR即召回率**为纵轴。通过不断改变分类阈值从1到0得到一系列(FPR, TPR)点连起来就是ROC曲线。AUC 即ROC曲线下的面积。AUC的取值范围在0.5到1之间。AUC 0.5 模型没有区分能力相当于随机猜测。AUC 1 模型是完美的分类器。AUC越接近1模型性能越好。AUC有一个很好的概率解释随机选取一个正样本和一个负样本模型对正样本的预测概率高于负样本的概率。from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 计算测试集的预测概率而非类别 y_test_prob hypothesis(X_test_with_intercept, theta_trained) # 计算ROC曲线的点 fpr, tpr, thresholds roc_curve(y_test, y_test_prob) roc_auc auc(fpr, tpr) # 绘制ROC曲线 plt.figure(figsize(8, 6)) plt.plot(fpr, tpr, colordarkorange, lw2, labelfROC curve (AUC {roc_auc:.4f})) plt.plot([0, 1], [0, 1], colornavy, lw2, linestyle--, labelRandom Guess) plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(Receiver Operating Characteristic (ROC) Curve) plt.legend(loclower right) plt.grid(True, alpha0.3) plt.show()通过观察ROC曲线和AUC值你可以更全面地评估模型在不同阈值下的表现而不仅仅依赖于默认的0.5阈值。6. 进阶话题与实战避坑指南当你成功跑通一个基础版本后接下来就会遇到各种实际问题。这部分内容往往是实训和教程里不会细讲的“坑”。6.1 学习率与迭代次数如何设置在梯度下降中学习率learning_rate和迭代次数num_iterations是最关键的超参数。学习率太大 损失函数可能会在最小值附近震荡甚至发散损失值变得无穷大。你会看到损失值上下跳动不收敛。学习率太小 收敛速度极慢需要非常多的迭代次数才能达到最小值浪费计算资源。实操建议先尝试一个常用的小值比如0.01、0.001。绘制损失函数下降曲线。这是最重要的调试工具如果曲线平滑下降说明学习率合适如果震荡就调小学习率如果下降极其缓慢可以适当调大。使用自适应学习率算法。我们实现的是最基础的批量梯度下降BGD。在实际中更常用的是小批量梯度下降Mini-batch GD或Adam等优化器它们能自动调整学习率。在Scikit-learn的LogisticRegression中优化算法是高度优化的通常不需要我们手动调。# 绘制损失下降曲线检查学习率是否合适 plt.figure(figsize(10, 6)) plt.plot(range(len(cost_history)), cost_history, b-, linewidth2) plt.xlabel(Iteration) plt.ylabel(Cost) plt.title(Gradient Descent: Cost vs. Iteration) plt.grid(True, alpha0.3) plt.show()6.2 过拟合与正则化给模型“刹车”当模型在训练集上表现很好但在测试集上表现很差时很可能发生了过拟合。模型过于复杂记住了训练数据的噪声导致泛化能力差。解决方案正则化。在逻辑回归的代价函数中加入一个惩罚项限制参数$\theta$的大小通常不考虑偏置项$\theta_0$。L2正则化岭回归 惩罚项为 $\frac{\lambda}{2m} \sum_{j1}^{n} \theta_j^2$。它会让所有参数都趋向于较小的值但通常不会精确为0。L1正则化Lasso回归 惩罚项为 $\frac{\lambda}{m} \sum_{j1}^{n} |\theta_j|$。它倾向于产生稀疏解即让一些不重要的特征对应的参数直接变为0起到特征选择的作用。加入L2正则化后的代价函数为 $J(\theta) -\frac{1}{m} \sum_{i1}^{m} [y^{(i)} \log(h_{\theta}(x^{(i)})) (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)}))] \frac{\lambda}{2m} \sum_{j1}^{n} \theta_j^2$对应的梯度也需要更新对$\theta_j, j0$ $\frac{\partial J(\theta)}{\partial \theta_j} \frac{1}{m} \sum_{i1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)} \frac{\lambda}{m} \theta_j$def compute_cost_with_regularization(X, y, theta, lambda_reg): 计算带L2正则化的交叉熵损失。 m len(y) h hypothesis(X, theta) epsilon 1e-15 h np.clip(h, epsilon, 1 - epsilon) # 计算基础损失 cost - (1/m) * np.sum(y * np.log(h) (1 - y) * np.log(1 - h)) # 加上正则化项注意通常不惩罚偏置项 theta[0] reg_cost (lambda_reg / (2 * m)) * np.sum(theta[1:] ** 2) return cost reg_cost def gradient_descent_with_regularization(X, y, theta, learning_rate, num_iterations, lambda_reg): 带L2正则化的梯度下降。 m len(y) cost_history [] for i in range(num_iterations): h hypothesis(X, theta) gradient (1/m) * np.dot(X.T, (h - y)) # 对除偏置项外的参数添加正则化梯度 gradient[1:] gradient[1:] (lambda_reg / m) * theta[1:] theta theta - learning_rate * gradient cost compute_cost_with_regularization(X, y, theta, lambda_reg) cost_history.append(cost) return theta, cost_history正则化强度$\lambda$是一个超参数需要通过交叉验证来选择。太大的$\lambda$会导致欠拟合所有参数都趋近于0模型变成常数太小的$\lambda$则起不到防止过拟合的作用。6.3 类别不平衡问题当正负样本比例悬殊在真实数据中正负样本数量可能相差很大比如欺诈检测中正常交易远多于欺诈交易。此时准确率这个指标会失效比如99%的样本都是负类模型全预测负类也能有99%的准确率但这毫无意义。应对策略使用更合适的评估指标 优先看精确率、召回率、F1分数和AUC而不是准确率。调整分类阈值 默认0.5的阈值可能不再适用。通过ROC曲线或精确率-召回率曲线PR Curve选择一个在业务上更合理的阈值。例如在疾病筛查中我们可能更看重召回率不漏检愿意承受一定的假阳性误诊代价因此可以降低阈值。重采样数据过采样 增加少数类样本的副本或生成合成样本如SMOTE算法。欠采样 随机减少多数类样本的数量。注意过采样和欠采样都要只在训练集上进行测试集必须保持原始分布以评估真实性能。使用类别权重 大多数机器学习库包括Scikit-learn的算法都支持class_weight参数。通过给少数类样本的损失赋予更高的权重让模型在训练时更关注它们。在逻辑回归中这相当于修改了损失函数。在Scikit-learn中可以轻松实现from sklearn.linear_model import LogisticRegression # 使用‘balanced’模式自动根据类别频率调整权重 model LogisticRegression(class_weightbalanced, max_iter1000) model.fit(X_train_scaled, y_train) # 或者手动指定权重例如 {0: 1, 1: 5} 表示类别1的权重是类别0的5倍6.4 从二分类到多分类One-vs-Rest策略逻辑回归本质上是二分类器。那如何解决像鸢尾花数据集3类这样的多分类问题呢最常用的策略是One-vs-Rest (OvR)或One-vs-All。原理 假设有K个类别。我们训练K个独立的二分类逻辑回归模型。对于第i个模型我们将第i类样本作为正类其余所有类别的样本作为负类。在预测时将新样本输入这K个模型得到K个“属于该类”的概率最后选择概率最高的那个类别作为最终预测结果。Scikit-learn的LogisticRegression在设置multi_classovr时默认值内部就是采用这种策略。from sklearn.datasets import load_iris from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split iris load_iris() X_multi, y_multi iris.data, iris.target X_train_m, X_test_m, y_train_m, y_test_m train_test_split(X_multi, y_multi, test_size0.2, random_state42) # 标准化 scaler_m StandardScaler() X_train_m_scaled scaler_m.fit_transform(X_train_m) X_test_m_scaled scaler_m.transform(X_test_m) # 使用逻辑回归进行多分类 model_multi LogisticRegression(multi_classovr, max_iter1000) model_multi.fit(X_train_m_scaled, y_train_m) print(多分类准确率:, model_multi.score(X_test_m_scaled, y_test_m)) # 查看预测的概率每一行对应一个样本每一列对应一个类别的概率 print(预测概率示例:\n, model_multi.predict_proba(X_test_m_scaled[:3]))7. 与Scikit-learn官方实现对比与验证自己实现一遍后再用Scikit-learn的官方实现跑一遍对比结果是检验自己代码正确性的最好方法也能学习工业级代码的优化技巧。from sklearn.linear_model import LogisticRegression as SKLogisticRegression # 使用与我们手写实现相似的无正则化配置注意sklearn默认使用L2正则化这里将C设得很大以减弱其影响 # C是正则化强度的倒数C越大正则化越弱。 sk_model SKLogisticRegression(penaltyl2, C1e10, solverlbfgs, max_iter1000, random_state42) # 注意sklearn默认会添加偏置项且内部可能对数据有标准化等处理但我们已经标准化过了。 sk_model.fit(X_train_scaled, y_train) # 比较参数 print( 参数对比 ) print(f手写模型参数 (前5个): {theta_trained[:5]}) print(fSklearn模型参数 (coef_): {sk_model.coef_[0][:5]}) print(fSklearn模型偏置 (intercept_): {sk_model.intercept_[0]:.6f}) print(f手写模型偏置 (theta[0]): {theta_trained[0]:.6f}) # 比较预测准确率 y_pred_sk sk_model.predict(X_test_scaled) print(f\n 性能对比 ) print(f手写模型测试集准确率: {accuracy_score(y_test, y_test_pred):.4f}) print(fSklearn模型测试集准确率: {accuracy_score(y_test, y_pred_sk):.4f})你可能会发现参数值不完全一样这很正常。原因可能包括优化算法不同 我们用的是批量梯度下降而Scikit-learn默认使用更高级的优化器如lbfgs。收敛标准和迭代次数 两者的停止条件可能不同。数值精度和初始化 随机初始化和浮点数计算会带来微小差异。 只要准确率、AUC等性能指标非常接近就说明你的手写实现基本是正确的。8. 项目总结与延伸思考走完这一整套流程你应该对逻辑回归不再感到陌生和畏惧。它不仅仅是一个公式而是一个包含数据准备、模型定义、损失函数设计、优化算法实现、模型评估、调优避坑的完整项目闭环。在“头歌实训”这类平台上任务可能只覆盖了其中几个环节但你自己动手实现全流程收获是截然不同的。我个人的体会是机器学习入门阶段最大的障碍不是数学而是将理论映射到代码的工程化思维。比如理解为什么要给特征矩阵加一列1为什么要对梯度进行向量化计算以提升效率为什么测试集标准化必须用训练集的参数。这些细节才是从“看懂”到“会做”的关键。最后关于逻辑回归还有几个方向值得你继续探索其他优化算法 尝试实现随机梯度下降SGD和小批量梯度下降并比较它们的收敛速度和效果。不同的正则化 实现L1正则化Lasso观察它如何产生稀疏解并尝试用坐标下降法来求解。更复杂的特征 逻辑回归是线性模型但可以通过特征工程引入多项式特征、交互项等使其能拟合非线性决策边界。这在实践中非常有用。从广义线性模型GLM视角理解 逻辑回归是广义线性模型的一种联系指数族分布这个视角能帮你理解为什么它的损失函数是交叉熵。逻辑回归作为基石其思想贯穿了许多更复杂的模型如神经网络中的单个神经元。扎扎实实练好它你未来的机器学习之路会顺畅很多。下次当你再看到“头歌实训-逻辑回归”这样的任务时你看到的将不再是一行行待填的代码而是一个可以自由发挥、深入探究的完整项目蓝图。
