Soft labelling for semantic segmentation: Bringing coherence to label down-sampling

要約

セマンティック セグメンテーションでは、リソースが限られているため、画像サイズをモデル入力に適合させたり、データ拡張を改善したりするために、トレーニング データのダウンサンプリングが一般的に実行されます。
通常、このダウンサンプリングでは、画像データと注釈付きラベルに異なる戦略が採用されます。
このような不一致は、ダウンサンプリングされたピクセルとラベルの間の不一致につながります。
したがって、ダウンサンプリング係数が増加すると、トレーニングのパフォーマンスが大幅に低下します。
このホワイトペーパーでは、画像データと注釈付きラベルのダウンサンプリング戦略をまとめます。
その目的のために、ダウンサンプリングの前に構造コンテンツを利用するラベルダウンサンプリングのソフトラベル付け方法を提案します。
これにより、ソフトラベルを画像データと完全に位置合わせして、サンプリングされたピクセルの分布を維持します。
この提案は、過小評価されているセマンティック クラスに対しても、より豊富な注釈を生成します。
全体として、競合モデルをより低い解像度でトレーニングすることができます。
実験は、提案が他のダウンサンプリング戦略よりも優れていることを示しています。
さらに、リファレンス ベンチマークでは最先端のパフォーマンスが達成されますが、使用する計算リソースは他のアプローチよりも大幅に少なくなります。
この提案により、リソースの制約下でセマンティック セグメンテーションの競合研究が可能になります。

要約(オリジナル)

In semantic segmentation, training data down-sampling is commonly performed because of limited resources, adapting image size to the model input, or improving data augmentation. This down-sampling typically employs different strategies for the image data and the annotated labels. Such discrepancy leads to mismatches between the down-sampled pixels and labels. Hence, training performance significantly decreases as the down-sampling factor increases. In this paper, we bring together the downsampling strategies for the image data and annotated labels. To that aim, we propose a soft-labeling method for label down-sampling that takes advantage of structural content prior to down-sampling. Thereby, fully aligning softlabels with image data to keep the distribution of the sampled pixels. This proposal also produces richer annotations for under-represented semantic classes. Altogether, it permits training competitive models at lower resolutions. Experiments show that the proposal outperforms other downsampling strategies. Moreover, state of the art performance is achieved for reference benchmarks, but employing significantly less computational resources than other approaches. This proposal enables competitive research for semantic segmentation under resource constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google