Context Label Learning: Improving Background Class Representations in Semantic Segmentation

要約

バックグラウンド サンプルは、関心領域 (ROI) をセグメント化するための重要なコンテキスト情報を提供します。
ただし、それらは常に多様な構造のセットをカバーしているため、セグメンテーション モデルが高い感度と精度で適切な決定境界を学習することが困難になります。
この問題は、バックグラウンド クラスの非常に異質な性質に関係しており、その結果、マルチモーダルな分布が生じます。
経験的に、異種のバックグラウンドでトレーニングされたニューラル ネットワークは、対応するコンテキスト サンプルを特徴空間のコンパクトなクラスターにマッピングするのに苦労していることがわかります。
その結果、バックグラウンドのロジット活性化の分布が決定境界を越えてシフトする可能性があり、さまざまなデータセットやタスク間で体系的な過剰セグメンテーションが発生します。
この研究では、バックグラウンドクラスをいくつかのサブクラスに分解することにより、コンテキスト表現を改善するコンテキストラベル学習（CoLab）を提案します。
具体的には、主要なセグメンテーション モデルと共に補助ネットワークをタスク ジェネレータとしてトレーニングし、ROI セグメンテーションの精度にプラスの影響を与えるコンテキスト ラベルを自動的に生成します。
いくつかの挑戦的なセグメンテーション タスクとデータセットに対して広範な実験が行われます。
この結果は、CoLab がセグメンテーション モデルをガイドして、バックグラウンド サンプルのロジットを決定境界から遠ざけてマッピングできることを示しています。これにより、セグメンテーションの精度が大幅に向上します。
コードが利用可能です。

要約(オリジナル)

Background samples provide key contextual information for segmenting regions of interest (ROIs). However, they always cover a diverse set of structures, causing difficulties for the segmentation model to learn good decision boundaries with high sensitivity and precision. The issue concerns the highly heterogeneous nature of the background class, resulting in multi-modal distributions. Empirically, we find that neural networks trained with heterogeneous background struggle to map the corresponding contextual samples to compact clusters in feature space. As a result, the distribution over background logit activations may shift across the decision boundary, leading to systematic over-segmentation across different datasets and tasks. In this study, we propose context label learning (CoLab) to improve the context representations by decomposing the background class into several subclasses. Specifically, we train an auxiliary network as a task generator, along with the primary segmentation model, to automatically generate context labels that positively affect the ROI segmentation accuracy. Extensive experiments are conducted on several challenging segmentation tasks and datasets. The results demonstrate that CoLab can guide the segmentation model to map the logits of background samples away from the decision boundary, resulting in significantly improved segmentation accuracy. Code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google