📖 标准介绍

多分类学习是将一个包含多于两个类别的分类问题，通过某种策略拆解为多个二分类问题，然后组合这些二分类器的结果进行最终预测。三种经典策略：

• 一对一 (OvO, One vs One)：将K个类别两两配对，训练 \(\frac{K(K-1)}{2}\) 个二分类器。预测时每个分类器投票给其中一个类别，得票最多的类别胜出。
• 一对多 (OvR, One vs Rest)：为每个类别训练一个二分类器，该类别为正类，其余所有类别为负类。预测时选择输出置信度最高的分类器对应的类别。
• 多对多 (MvM, Many vs Many)：每次将多个类别作为正类，多个类别作为负类。典型实现是纠错输出码 (ECOC)，通过编码矩阵定义多个二分类任务，预测时计算输出编码与各类别编码的距离。

这些策略的共同优点是能够将复杂问题分解，利用成熟的二分类算法。

💡 通俗介绍

假设你是一个裁判，需要将运动员分成多个组别（比如篮球、足球、乒乓球选手），但你只会区分两种运动员。

• OvO：你让每个可能的配对（比如篮球vs足球，篮球vs乒乓球，足球vs乒乓球）分别比赛，每场比赛你判断谁更接近某个类别，最后看谁赢的场次多。
• OvR：你每次只问“这是篮球运动员吗？”如果不是，再问“这是足球运动员吗？”，直到找到肯定答案。
• MvM (ECOC)：你设计一个巧妙的问卷，每个问题都是“他属于A组或B组吗？”其中A组和B组可能包含多个类别。最后根据回答的“编码”与标准答案比对，找出最匹配的类别。

这三种方法就像不同的裁判策略，各有优劣。

🎯 解决了什么问题

许多分类算法（如SVM、逻辑回归）最初是为二分类设计的。但现实中的问题往往涉及多个类别（例如识别手写数字0-9、区分不同种类的动物）。多分类学习策略解决了如何扩展二分类算法到多类场景的问题。

它们提供了通用的框架，使得任何二分类器都可以被组合起来处理多分类任务，而不需要修改底层算法。

⭐ 为什么重要

多分类学习策略在机器学习实践中极其重要：

• 算法复用：可以轻松地将已有的高性能二分类器用于多类问题。
• 降低复杂度：将复杂问题分解为多个简单子问题，每个子问题更容易训练和优化。
• 灵活性：不同策略适用于不同场景，例如类别数很多时OvO可能计算量大，OvR更高效。
• 性能提升：某些策略（如ECOC）通过纠错机制可以提高分类器的鲁棒性和准确率。

🔧 应用场景

• 图像识别：手写数字识别、物体分类（ImageNet挑战）
• 自然语言处理：文本主题分类、情感多分类（正面/负面/中性）
• 生物信息学：基因表达数据的癌症亚型分类
• 医学诊断：根据症状区分多种疾病
• 语音识别：多说话人识别、语音命令分类
• 金融风控：信用评级多等级分类

⚠️ 缺陷与局限性

• 计算开销：OvO需要训练大量分类器，当类别数很多时（如100类），需要4950个分类器，训练和预测成本高。
• 类别不平衡：OvR中每个分类器面对的正负样本数量严重不平衡，可能影响性能。
• 预测不一致：OvO中可能出现得票相同的情况，需要额外处理规则。
• 编码设计：MvM/ECOC的性能高度依赖于编码矩阵的设计，设计不当可能不如OvR。
• 误差累积：多个二分类器的错误可能累积，影响最终分类精度。
• 不支持概率输出：某些策略（如投票）不易直接给出概率估计，需要额外校准。