Soft labelling for semantic segmentation: Bringing coherence to label down-sampling

要約

セマンティック セグメンテーションでは、リソースが限られているため、画像サイズをモデル入力に適合させる必要があるため、またはデータ拡張を改善する必要があるため、トレーニング データのダウンサンプリングが一般的に実行されます。
通常、このダウンサンプリングでは、画像データと注釈付きラベルに異なる戦略が採用されます。
このような不一致は、ダウンサンプリングされた色とラベル イメージの間の不一致につながります。
したがって、ダウンサンプリング係数が増加すると、トレーニングのパフォーマンスが大幅に低下します。
このホワイト ペーパーでは、画像データとトレーニング ラベルのダウンサンプリング戦略をまとめます。
その目的のために、ダウンサンプリング後にラベル情報をよりよく保存するソフトラベリングによるラベルダウンサンプリングの新しいフレームワークを提案します。
したがって、ソフトラベルを画像データに完全に合わせて、サンプリングされたピクセルの分布を維持します。
この提案は、十分に表現されていないセマンティック クラスに対しても信頼できる注釈を生成します。
全体として、競合モデルをより低い解像度でトレーニングできます。
実験は、提案が他のダウンサンプリング戦略よりも優れていることを示しています。
さらに、参照ベンチマークでは最先端のパフォーマンスが達成されますが、主要なアプローチよりもはるかに少ない計算リソースを使用します。
この提案により、リソースの制約下でセマンティック セグメンテーションの競合研究が可能になります。

要約(オリジナル)

In semantic segmentation, training data down-sampling is commonly performed due to limited resources, the need to adapt image size to the model input, or improve data augmentation. This down-sampling typically employs different strategies for the image data and the annotated labels. Such discrepancy leads to mismatches between the down-sampled color and label images. Hence, the training performance significantly decreases as the down-sampling factor increases. In this paper, we bring together the down-sampling strategies for the image data and the training labels. To that aim, we propose a novel framework for label down-sampling via soft-labeling that better conserves label information after down-sampling. Therefore, fully aligning soft-labels with image data to keep the distribution of the sampled pixels. This proposal also produces reliable annotations for under-represented semantic classes. Altogether, it allows training competitive models at lower resolutions. Experiments show that the proposal outperforms other down-sampling strategies. Moreover, state-of-the-art performance is achieved for reference benchmarks, but employing significantly less computational resources than foremost approaches. This proposal enables competitive research for semantic segmentation under resource constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google