一句话总结
软标签（Soft Label）是一种用概率分布而不是单一类别来表示真实答案的标注方式，能让模型学习到更多细腻的信息和不确定性。
基础概念详解
1. 软标签是什么？
- 软标签（Soft Label）：用一组概率分布（如[0.7, 0.2, 0.1]）来表示一个样本属于各个类别的可能性，而不是只用“1”或“0”表示属于哪个类别。
- 硬标签（Hard Label）：传统的标注方式，只用“1”或“0”表示属于哪个类别（如[1, 0, 0]表示只属于第一个类别）。
- 核心定义：软标签反映了样本在不同类别上的不确定性和相似性，能为模型提供更丰富的学习信号。
- 应用场景：知识蒸馏、多标签分类、模型融合等。
术语解释
- 概率分布（Probability Distribution）：每个类别都有一个概率，所有概率加起来等于1。
- 知识蒸馏（Knowledge Distillation）：用大模型的输出概率（软标签）指导小模型学习。
- 多标签分类（Multi-label Classification）：一个样本可能同时属于多个类别。
2. 软标签的工作原理
用一张流程图帮助理解：
- 输入样本：如一张图片或一句话。
- 教师模型：已经训练好的大模型，输出每个类别的概率。
- 输出概率分布：如[0.6, 0.3, 0.1]，表示属于各类别的可能性。
- 学生模型学习软标签：学生模型用这些概率作为学习目标，而不是只学“对/错”。
- 更好泛化：学生模型能学到更多细节和不确定性，表现更好。
3. 软标签的实际例子与比喻
真实案例
- 知识蒸馏：大模型对一张猫的图片输出[猫:0.8, 狐狸:0.15, 狗:0.05]，小模型学习这个分布，比只学[1,0,0]更能理解“猫和狐狸有点像”。
- 多标签情感分析：一句话可能同时有“开心”和“感动”两种情感，软标签可以是[开心:0.6, 感动:0.4]。
- 硬标签像考试只判“对/错”，软标签像老师给分“90分、80分”，更细腻地反映你的表现。
4. 软标签的优缺点
- 优点：提供更多信息，帮助模型理解类别间的相似性和不确定性。有助于提升模型泛化能力，减少过拟合。
- 缺点：需要概率分布作为标签，获取成本较高。训练和评估过程稍复杂。
5. 软标签的典型应用场景
- 知识蒸馏（大模型教小模型）
- 多标签分类（如多情感、多物体识别）
- 模型融合（集成多个模型的输出）
示例
案例背景
任务：训练一个CNN模型对动物图片分类（猫/狗/鸟）
挑战：避免模型对训练数据过度自信，提升对小样本类别的识别能力
解决方案：用概率分布（软标签）替代硬标签作为监督信号
五步训练流程
1. 生成软标签的概率分布
- 硬标签问题：原始标签为one-hot形式（如[1, 0, 0]表示“猫”），但模型易过度拟合训练噪声。
- 软标签生成：
- 标签平滑：将正确类别的概率从1.0降为0.9，剩余0.1平均分配给其他类别（如猫→[0.9, 0.05, 0.05]）。
- 知识蒸馏：用预训练教师模型输出概率分布（如猫→[0.85, 0.1, 0.05]），包含类别间相似性（如猫与豹的关联）。
2. 设计损失函数兼容软标签
- 传统交叉熵损失：仅支持硬标签，无法利用概率分布信息。
- 改进方案：
- KL散度损失：衡量学生模型输出与软标签的概率分布差异（公式：Loss = Σ(软标签 * log(软标签 / 模型输出))）。
- 归一化蒸馏损失（NKD）：将目标类别与非目标类别损失分开计算，提升训练稳定性。
3. 训练学生模型
- 输入：原始图片 + 软标签（非硬标签）
- 训练过程：
- 前向传播：图片输入学生模型，输出预测概率分布（如[0.7, 0.2, 0.1]）。
- 损失计算：用KL散度对比预测分布与软标签分布的差异（差异越小损失越低）。
- 反向传播：根据损失更新学生模型权重。
4. 动态调整软标签（可选）
- 指数平滑更新：每个训练周期后，用模型当前输出的概率分布更新软标签，减少噪声影响（公式：新软标签 = 0.9 旧软标签 + 0.1 当前预测）。
- 最大熵约束：强制模型输出更平滑的概率分布，避免对少数样本过拟合（如限制预测概率最小值为0.01）。
5. 推理与效果
- 输出：学生模型对测试图片输出概率分布（如狗→[0.02, 0.95, 0.03]）。
- 优势：
- 提升模型对模糊样本的区分度（如猫与豹的相似特征）。
- 减少对小样本类别（如鸟类）的误判率。