Learning Ordinality in Semantic Segmentation

要約

セマンティックセグメンテーションは、各画像ピクセルのセマンティックラベルを予測することで構成されています。
既存の深い学習アプローチは高い精度を達成しますが、多くの場合、クラス間の順序関係を見落とし、重要なドメインの知識を提供できます（たとえば、生徒は虹彩にあり、車線のマークは道路の一部です）。
このペーパーでは、これらのクラス間依存関係を明示的に組み込む空間順序セグメンテーションの新しい方法を紹介します。
各ピクセルを独立した観察としてではなく、構造化された画像空間の一部として扱うことにより、2つの正規化項と、隣接するピクセル間の順序の一貫性を強制するための新しいメトリックを提案します。
構造的順序セグメンテーションのために、2つの損失正規化条件と1つのメトリックが提案されており、非視線隣接クラスの予測を罰します。
5つの生物医学データセットと自律運転データセットの複数の構成は、提案された方法の有効性を示しています。
私たちのアプローチは、序数のメトリックの改善を達成し、一般化を強化し、サイコロ係数が最大15.7％相対的に増加します。
重要なことに、これらの利点は、追加の推論時間費用なしでもたらされます。
この作業は、セマンティックセグメンテーションにおける空間順序関係の重要性を強調し、構造化された画像表現のさらなる調査の基盤を提供します。

要約(オリジナル)

Semantic segmentation consists of predicting a semantic label for each image pixel. While existing deep learning approaches achieve high accuracy, they often overlook the ordinal relationships between classes, which can provide critical domain knowledge (e.g., the pupil lies within the iris, and lane markings are part of the road). This paper introduces novel methods for spatial ordinal segmentation that explicitly incorporate these inter-class dependencies. By treating each pixel as part of a structured image space rather than as an independent observation, we propose two regularization terms and a new metric to enforce ordinal consistency between neighboring pixels. Two loss regularization terms and one metric are proposed for structural ordinal segmentation, which penalizes predictions of non-ordinal adjacent classes. Five biomedical datasets and multiple configurations of autonomous driving datasets demonstrate the efficacy of the proposed methods. Our approach achieves improvements in ordinal metrics and enhances generalization, with up to a 15.7% relative increase in the Dice coefficient. Importantly, these benefits come without additional inference time costs. This work highlights the significance of spatial ordinal relationships in semantic segmentation and provides a foundation for further exploration in structured image representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google