Multi-Level Label Correction by Distilling Proximate Patterns for Semi-supervised Semantic Segmentation

要約

半教師ありセマンティック セグメンテーションは、ラベルなしデータを活用することで、大規模なラベル付きデータへの依存を軽減します。
最近の半教師ありセマンティック セグメンテーション アプローチは、主に、ラベルのないデータを活用する擬似ラベル付け手法に頼っています。
ただし、信頼性の低い疑似ラベル付けは、半監視プロセスを損なう可能性があります。
この論文では、マルチレベル ラベル修正 (MLLC) と呼ばれるアルゴリズムを提案します。このアルゴリズムは、グラフ ニューラル ネットワークを使用してセマンティック レベル グラフ (SLG) およびクラス レベル グラフ (CLG) の構造的関係を捕捉し、誤った疑似ラベルを修正することを目的としています。
ラベル。
具体的には、SLG はピクセル特徴のペア間の意味的類似性を表し、CLG はピクセル ラベルのペア間の分類の一貫性を記述します。
グラフからの近接パターン情報のサポートにより、MLLC は誤って予測された擬似ラベルを修正し、識別的な特徴表現を容易にすることができます。
この効果的なラベル修正メカニズムをトレーニングおよび実行するためのエンドツーエンドのネットワークを設計します。
実験では、MLLC が教師ありベースラインを大幅に改善し、都市景観と PASCAL VOC 2012 データセットのさまざまなシナリオで最先端のアプローチを上回るパフォーマンスを発揮できることが実証されています。
具体的には、MLLC は、異なるパーティション プロトコルの下で、DeepLabV2 と DeepLabV3+ でそれぞれ少なくとも 5% と 2% 教師ありベースラインを改善します。

要約(オリジナル)

Semi-supervised semantic segmentation relieves the reliance on large-scale labeled data by leveraging unlabeled data. Recent semi-supervised semantic segmentation approaches mainly resort to pseudo-labeling methods to exploit unlabeled data. However, unreliable pseudo-labeling can undermine the semi-supervision processes. In this paper, we propose an algorithm called Multi-Level Label Correction (MLLC), which aims to use graph neural networks to capture structural relationships in Semantic-Level Graphs (SLGs) and Class-Level Graphs (CLGs) to rectify erroneous pseudo-labels. Specifically, SLGs represent semantic affinities between pairs of pixel features, and CLGs describe classification consistencies between pairs of pixel labels. With the support of proximate pattern information from graphs, MLLC can rectify incorrectly predicted pseudo-labels and can facilitate discriminative feature representations. We design an end-to-end network to train and perform this effective label corrections mechanism. Experiments demonstrate that MLLC can significantly improve supervised baselines and outperforms state-of-the-art approaches in different scenarios on Cityscapes and PASCAL VOC 2012 datasets. Specifically, MLLC improves the supervised baseline by at least 5% and 2% with DeepLabV2 and DeepLabV3+ respectively under different partition protocols.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google