Jaccard Metric Losses: Optimizing the Jaccard Index with Soft Labels

要約

Intersection over Union (IoU) 損失は、Jaccard インデックスを直接最適化する代理値です。
損失関数の一部として IoU 損失を活用すると、クロスエントロピー損失のみなどのピクセル単位の損失を最適化する場合と比較して、セマンティック セグメンテーション タスクにおいて優れたパフォーマンスが実証されました。
ただし、主にソフトラベルを処理できないことが原因で、ラベルのスムージング、知識の蒸留、半教師あり学習などの重要なトレーニング手法をサポートするには、これらの損失には柔軟性が欠けていることがわかります。
これに対処するために、Jaccard メトリック ロス (JML) を導入します。これは、ハード ラベルを使用した標準設定でのソフト Jaccard ロスと同じですが、ソフト ラベルと完全に互換性があります。
JML をソフト ラベルの 3 つの著名なユース ケース (ラベル スムージング、知識蒸留、半教師あり学習) に適用し、モデルの精度とキャリブレーションを向上させる可能性を実証します。
私たちの実験では、4 つのセマンティック セグメンテーション データセット (Cityscapes、PASCAL VOC、ADE20K、DeepGlobe Land) と、古典的な CNN や最近のビジョン トランスフォーマーを含む 13 のアーキテクチャにわたって、クロス エントロピー損失が一貫して改善されていることが示されています。
驚くべきことに、私たちの単純なアプローチは、最先端の知識の蒸留や半教師あり学習方法よりも大幅に優れています。
コードは \href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses} で入手できます。

要約(オリジナル)

Intersection over Union (IoU) losses are surrogates that directly optimize the Jaccard index. Leveraging IoU losses as part of the loss function have demonstrated superior performance in semantic segmentation tasks compared to optimizing pixel-wise losses such as the cross-entropy loss alone. However, we identify a lack of flexibility in these losses to support vital training techniques like label smoothing, knowledge distillation, and semi-supervised learning, mainly due to their inability to process soft labels. To address this, we introduce Jaccard Metric Losses (JMLs), which are identical to the soft Jaccard loss in standard settings with hard labels but are fully compatible with soft labels. We apply JMLs to three prominent use cases of soft labels: label smoothing, knowledge distillation and semi-supervised learning, and demonstrate their potential to enhance model accuracy and calibration. Our experiments show consistent improvements over the cross-entropy loss across 4 semantic segmentation datasets (Cityscapes, PASCAL VOC, ADE20K, DeepGlobe Land) and 13 architectures, including classic CNNs and recent vision transformers. Remarkably, our straightforward approach significantly outperforms state-of-the-art knowledge distillation and semi-supervised learning methods. The code is available at \href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google