updates

Author: BinaryOracle

src/other/语义分割中常用的损失函数.md

@@ -2,7 +2,7 @@
 title: 语义分割中常用的损失函数
 icon: file
 category:
-  - tools
+  - 损失函数
 tag:
   - 已发布
 footer: 技术共建，知识共享
@@ -693,10 +693,154 @@ class TverskyLoss(nn.Module):
 
 Lovasz Hinge Loss的设计思想是，在计算IoU得分之前，根据预测误差对预测结果进行排序，然后累积计算每个误差对IoU得分的影响。然后，将该梯度向量与初始误差向量相乘，以最大程度地惩罚降低IoU得分的预测结果。
 
-
+[https://github.com/bermanmaxim/LovaszSoftmax](https://github.com/bermanmaxim/LovaszSoftmax)
 
 
 ### Combo Loss
 
+**Combo Loss** 是一种结合了多个损失函数优点的混合损失函数，特别适用于图像分割任务。它将 **Dice Loss** 和 **交叉熵损失（CrossEntropy Loss）** 相结合，并引入一个可调节的权重参数，使得模型在训练过程中可以更灵活地平衡这两部分损失。
+
+核心思想：
+
+> Combo Loss = α × CrossEntropy + (1 - α) × Dice Loss
+
+或者更广义地：
+> Combo Loss = α × 分类误差（CE）+ β × 区域重叠误差（Dice）
+
+其中 α + β = 1，α 控制分类误差的重要性，β 控制区域匹配误差的重要性。
+
+---
+
+***数学定义:***
+
+假设我们有预测概率图 $p_i \in [0,1]$，真实标签 $y_i \in \{0,1\}$，那么：
+
+1. 交叉熵损失（Binary Cross Entropy）：
+
+$$
+\mathcal{L}_{\text{CE}} = -\sum_i \left[ y_i \log(p_i) + (1 - y_i)\log(1 - p_i) \right]
+$$
+
+2. Dice Loss：
+
+$$
+\mathcal{L}_{\text{Dice}} = 1 - \frac{2 \sum_i y_i p_i}{\sum_i y_i + \sum_i p_i}
+$$
+
+3. Combo Loss 定义为：
+
+$$
+\mathcal{L}_{\text{Combo}} = \alpha \cdot \mathcal{L}_{\text{CE}} + (1 - \alpha) \cdot \mathcal{L}_{\text{Dice}}
+$$
+
+其中：
+
+- $\alpha \in [0,1]$：控制两个损失之间的权重比例
+
+- 若 $\alpha=1$：仅使用交叉熵损失
+
+- 若 $\alpha=0$：仅使用 Dice Loss
+
+---
+
+为什么使用 Combo Loss:
+
+| 优势 | 描述 |
+|------|------|
+| ✔️ 兼顾像素级精度和区域重叠度 | CE 关注每个像素的分类准确性，Dice 关注整体区域匹配程度 |
+| ✔️ 对类别不平衡问题鲁棒 | 在前景像素远少于背景像素时表现良好（如医学图像） |
+| ✔️ 更稳定的训练过程 | 避免单一损失可能带来的训练不稳定性 |
+| ✔️ 可调性强 | 通过调整 α 参数，适应不同任务需求 |
+
+对比其他损失函数：
+
+| 损失函数 | 是否关注像素分类？ | 是否关注区域匹配？ | 是否可调？ | 是否适合类别不平衡？ |
+| --- | --- | --- | --- | --- |
+| CrossEntropy Loss | ✅ | ❌ | ❌ | ❌ |
+| Dice Loss | ❌ | ✅ | ❌ | ✅ |
+| Tversky Loss | ❌ | ✅ ✅ | ✅ | ✅ ✅ |
+| Combo Loss | ✅ ✅ | ✅ | ✅ | ✅ ✅ |
+
+---
+
+代码实现:
+
+```python
+# 超参数设置说明：
+ALPHA = 0.5  # 控制交叉熵中正负样本的权重
+           # 如果 ALPHA < 0.5：对假阳性（FP）惩罚更重（更关注精确率）
+           # 如果 ALPHA > 0.5：对假阴性（FN）惩罚更重（更关注召回率）
+
+CE_RATIO = 0.5  # 控制交叉熵损失和 Dice 损失之间的权重分配
+               # CE_RATIO 越大，交叉熵在总损失中的占比越高
+
+
+class ComboLoss(nn.Module):
+    def __init__(self, weight=None, size_average=True):
+        """
+        初始化函数
+        
+        参数：
+            weight: 可选，类别权重（用于处理类别不平衡）
+            size_average: 如果为 True，则返回所有样本损失的平均值
+        """
+        super(ComboLoss, self).__init__()
+        # 这里不直接使用 weight 和 size_average，但保留作为接口兼容
+        self.weight = weight
+        self.size_average = size_average
+
+    def forward(self, inputs, targets, smooth=1, alpha=ALPHA, beta=BETA, eps=1e-9):
+        """
+        前向传播计算 Combo Loss
+        
+        参数：
+            inputs: 模型输出的概率值（经过 Sigmoid），形状如 (N, H, W)
+            targets: 真实标签，形状与 inputs 相同，值为 0 或 1
+            smooth: 平滑系数，防止除以零
+            alpha: 控制 FP/FN 的惩罚比例（用于交叉熵部分）
+            eps: 防止 log(0) 出现的小常数
+            
+        返回：
+            combo_loss: 计算得到的 Combo Loss
+        """
+
+        # 将输入和目标张量展平为一维，便于后续计算
+        inputs = inputs.view(-1)
+        targets = targets.view(-1)
+
+        # 计算 Dice Loss 所需的交集
+        intersection = (inputs * targets).sum()
+        
+        # Dice Score（区域匹配度）
+        dice_score = (2. * intersection + smooth) / (inputs.sum() + targets.sum() + smooth)
+        
+        # 加入数值稳定性处理，防止 log(0) 出现 NaN
+        inputs = torch.clamp(inputs, eps, 1.0 - eps)
+
+        # 加权交叉熵损失（Weighted Cross Entropy）
+        # 根据 ALPHA 参数调整正类和负类的权重
+        weighted_ce = - (ALPHA * targets * torch.log(inputs)) - ((1 - ALPHA) * (1 - targets) * torch.log(1 - inputs))
+        
+        # 对损失求均值
+        weighted_ce = weighted_ce.mean()
+
+        # Combo Loss 是交叉熵和 Dice Loss 的加权组合
+        # 注意：这里使用的是负的 Dice Score（因为要最小化损失）
+        combo_loss = (CE_RATIO * weighted_ce) - ((1 - CE_RATIO) * dice_score)
+
+        return combo_loss
+```
+> 上面代码实现中使用的是加权交叉熵损失:
+> 
+> $$
+> \mathcal{L}_{\text{CE}} = - \alpha \cdot y_i \log(p_i) - (1 - \alpha) \cdot (1 - y_i) \log(1 - p_i)
+> $$
+
+## 如何选择?
+
+任务需求：根据特定的分割任务的需求和特点，选择适合的损失函数。例如，对于类别不平衡的数据集，可以考虑使用Tversky Loss或Combo Loss等能够处理不平衡情况的损失函数。
+
+实验评估：在实验中，使用不同的损失函数进行训练，并评估它们在验证集或测试集上的性能。比较它们在IoU、准确率、召回率等指标上的表现，选择性能最佳的损失函数。
 
+超参数调整：一些损失函数具有额外的超参数，如Tversky Loss中的alpha和beta，可以通过调整这些超参数来进一步优化损失函数的性能。