IPixMatch: Boost Semi-supervised Semantic Segmentation with Inter-Pixel Relation

要約

現実世界のシナリオにおけるラベル付きデータの不足は、深層学習の有効性の重大なボトルネックです。
半教師ありセマンティック セグメンテーションは、アノテーション コストとセグメンテーション パフォーマンスの間の望ましいトレードオフを達成するための典型的なソリューションです。
しかし、これまでのアプローチは、一貫性の正則化に基づくものであれ、自己学習に基づくものであれ、ピクセル間の関係に埋め込まれた文脈上の知識を無視する傾向がありました。
この怠慢により、最適なパフォーマンスが得られず、一般化が制限されます。
この論文では、無視されているが貴重なピクセル間情報を半教師あり学習のためにマイニングするように設計された新しいアプローチ IPixMatch を提案します。
具体的には、IPixMatch は標準の教師と生徒のネットワークの拡張として構築され、ピクセル間の関係を捕捉するために追加の損失項が組み込まれています。
限られたラベル付きデータを効率的に活用し、利用可能なラベルなしデータから最大限の有用性を抽出することにより、低データ領域で威力を発揮します。
さらに、IPixMatch は、モデルの変更やコンポーネントの追加を必要とせずに、ほとんどの教師と生徒のフレームワークにシームレスに統合できます。
当社の単純な IPixMatch メソッドは、さまざまなパーティショニング プロトコルの下で、さまざまなベンチマーク データセットにわたって一貫したパフォーマンスの向上を示しています。

要約(オリジナル)

The scarcity of labeled data in real-world scenarios is a critical bottleneck of deep learning’s effectiveness. Semi-supervised semantic segmentation has been a typical solution to achieve a desirable tradeoff between annotation cost and segmentation performance. However, previous approaches, whether based on consistency regularization or self-training, tend to neglect the contextual knowledge embedded within inter-pixel relations. This negligence leads to suboptimal performance and limited generalization. In this paper, we propose a novel approach IPixMatch designed to mine the neglected but valuable Inter-Pixel information for semi-supervised learning. Specifically, IPixMatch is constructed as an extension of the standard teacher-student network, incorporating additional loss terms to capture inter-pixel relations. It shines in low-data regimes by efficiently leveraging the limited labeled data and extracting maximum utility from the available unlabeled data. Furthermore, IPixMatch can be integrated seamlessly into most teacher-student frameworks without the need of model modification or adding additional components. Our straightforward IPixMatch method demonstrates consistent performance improvements across various benchmark datasets under different partitioning protocols.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google