Progressive Learning with Cross-Window Consistency for Semi-Supervised Semantic Segmentation

要約

半教師付きセマンティック セグメンテーションは、少量のラベル付きデータと大量のラベルなしデータの探索に焦点を当てており、現実世界の画像理解アプリケーションの要求により近いものです。
ただし、ラベル付けされていない画像を完全かつ効果的に活用できないことが、依然として妨げとなっています。
この論文では、クロスウィンドウ一貫性 (CWC) が、ラベルのないデータから補助監督を包括的に抽出するのに役立つことを明らかにします。
さらに、大量のラベルなしデータから弱いものから強いものへの制約をマイニングすることにより、深いネットワークを最適化するための新しい CWC 駆動の漸進的学習フレームワークを提案します。
より具体的には、このホワイト ペーパーでは、バイアスのあるクロス ウィンドウ整合性 (BCC) 損失を重要度係数とともに提示します。これは、ディープ ネットワークが異なるウィンドウ内の重複領域からの信頼度マップを明示的に制約して、より大きなコンテキストとのセマンティックな整合性を維持するのに役立ちます。
さらに、ネットワークをさらに最適化するために、一貫性と信頼性の高い疑似ラベルを提供する動的な疑似ラベル メモリ バンク (DPM) を提案します。
都市景観、医療シナリオ、および衛星シーンの 3 つの代表的なデータセットに関する広範な実験は、私たちのフレームワークが一貫して最先端の方法よりも大きなマージンで優れていることを示しています。
コードは公開されます。

要約(オリジナル)

Semi-supervised semantic segmentation focuses on the exploration of a small amount of labeled data and a large amount of unlabeled data, which is more in line with the demands of real-world image understanding applications. However, it is still hindered by the inability to fully and effectively leverage unlabeled images. In this paper, we reveal that cross-window consistency (CWC) is helpful in comprehensively extracting auxiliary supervision from unlabeled data. Additionally, we propose a novel CWC-driven progressive learning framework to optimize the deep network by mining weak-to-strong constraints from massive unlabeled data. More specifically, this paper presents a biased cross-window consistency (BCC) loss with an importance factor, which helps the deep network explicitly constrain confidence maps from overlapping regions in different windows to maintain semantic consistency with larger contexts. In addition, we propose a dynamic pseudo-label memory bank (DPM) to provide high-consistency and high-reliability pseudo-labels to further optimize the network. Extensive experiments on three representative datasets of urban views, medical scenarios, and satellite scenes demonstrate our framework consistently outperforms the state-of-the-art methods with a large margin. Code will be available publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google