对数几率回归（Logistic Regression）

二分类问题的经典线性模型 — 通过 Sigmoid 函数将线性回归的输出映射为概率，使用交叉熵损失和梯度下降进行优化。

📐 核心公式 公式解析

线性组合
$$z = \mathbf{w}^\top \mathbf{x} + b = w_1 x_1 + w_2 x_2 + b$$
Sigmoid 激活函数
$$\sigma(z) = \frac{1}{1 + e^{-z}}$$
预测概率
$$P(y=1 \mid \mathbf{x}) = \sigma(\mathbf{w}^\top \mathbf{x} + b)$$
交叉熵损失函数
$$J(\mathbf{w}, b) = -\frac{1}{n}\sum_{i=1}^{n}\left[y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)\right]$$
公式介绍：对数几率回归通过线性函数 \(z = \mathbf{w}^\top \mathbf{x} + b\) 对输入特征进行加权求和，然后使用 Sigmoid 函数将结果映射到 (0,1) 区间，解释为样本属于正类的概率。模型的对数几率（log-odds）与输入呈线性关系：\(\log\frac{P(y=1|\mathbf{x})}{P(y=0|\mathbf{x})} = \mathbf{w}^\top \mathbf{x} + b\)。
🔹 w₁, w₂ — 特征权重，控制决策边界的斜率
🔹 b — 偏置项，控制决策边界的位置
🔹 σ(z) — Sigmoid 函数，将任意实数映射到 (0,1)
🔹 η — 学习率，控制参数更新步长
🔹 iterations — 梯度下降迭代次数

🎮 交互式模拟 实时可视化

就绪 — 可调节参数或点击训练
💡 提示：在主图上左键点击添加正类(蓝)，右键点击添加负类(橙)

🔵 决策边界与概率热力图

📉 损失函数曲线

📈 Sigmoid 激活函数

📚 深入理解 从原理到应用

📖 标准介绍

对数几率回归（Logistic Regression）是一种用于二分类问题的线性判别模型。尽管名称中包含"回归"二字，它实际上是一种分类算法。模型通过将特征的线性组合 \(z = \mathbf{w}^\top \mathbf{x} + b\) 输入到 Sigmoid 函数 \(\sigma(z) = 1/(1+e^{-z})\) 中，将输出压缩到 (0,1) 区间，表示样本属于正类的概率。决策边界由 \(\mathbf{w}^\top \mathbf{x} + b = 0\) 定义，在二维空间中表现为一条直线，将特征空间划分为两个类别区域。模型参数通常通过最大化似然函数（等价于最小化交叉熵损失）并使用梯度下降法求解。

💬 通俗介绍

想象你要判断一封邮件是"垃圾邮件"还是"正常邮件"。你根据邮件中出现的关键词（比如"中奖"、"免费"等）给它打分。分数越高，越像垃圾邮件。但分数本身是一个从负无穷到正无穷的数字，你需要把它转换成一个"概率"。对数几率回归就像是一个"翻译官"：它先把所有特征加权求和得到一个分数，然后用 Sigmoid 函数把这个分数"压缩"到 0 到 1 之间——比如 0.85 表示"这封邮件有 85% 的概率是垃圾邮件"。分数为 0 时恰好对应 50% 概率，这就是决策边界的位置。

🎯 解决了什么问题

  • 二分类问题：将输入样本分配到两个互斥类别中的一个，输出可解释的概率。
  • 概率估计：与硬分类不同，它提供每个样本属于正类的置信度，便于设置不同的分类阈值。
  • 线性可分的判别：在特征空间中寻找最优的超平面（二维中为直线）来分离两类样本。
  • 特征重要度分析：权重向量 w 的绝对值反映了各特征对分类结果的影响程度和方向。

⭐ 为什么重要

对数几率回归是机器学习领域的基石算法之一，具有不可替代的地位。首先，它是理解神经网络的基础——单个神经元（Perceptron 的升级版）本质上就是一个对数几率回归模型。其次，它具有良好的数学性质：损失函数是凸函数，保证梯度下降能找到全局最优解；输出具有概率解释，便于与贝叶斯方法结合。此外，它计算效率高、可解释性强，在实际工业应用中广泛使用（如信用评分、医疗诊断、点击率预估等），是许多复杂模型的性能基准。

🔧 应用场景

  • 医疗诊断：根据患者指标预测患病概率（如糖尿病风险预测）。
  • 金融风控：信用评分、欺诈检测、贷款违约预测。
  • 互联网：点击率预估、用户转化预测、垃圾邮件过滤。
  • 自然语言处理：情感分析（正面/负面评价）、文本分类。
  • 市场营销：客户流失预测、广告响应预测。

⚠️ 缺陷与局限性

  • 线性决策边界：无法处理非线性可分的问题，需要特征工程或核方法扩展。
  • 对异常值敏感：极端离群点会显著影响决策边界的位置。
  • 多重共线性：特征之间高度相关时，参数估计不稳定，需要正则化。
  • 类别不平衡：当正负样本比例悬殊时，模型容易偏向多数类，需要调整阈值或采样策略。
  • 表达能力有限：对于复杂的高维非线性模式，需要更强大的模型（如决策树、神经网络）。