Removing supervision in semantic segmentation with local-global matching and area balancing

要約

セマンティック セグメンテーションで監視を削除することは、依然として注意が必要です。
現在のアプローチでは、一般的なカテゴリ パターンを処理できますが、マルチステージ アーキテクチャに頼ることができます。
ローカル/グローバル パッチ マッチングを活用して、セマンティック セグメンテーション用のオブジェクトのカテゴリ、適切なローカリゼーション、面積、形状を予測する新しいエンド ツー エンド モデルを設計します。
次に、ローカルとグローバルのマッチングは、正確な形状予測の解に近づくエリアの制約を満たす最適な輸送計画によって強制されます。
私たちのモデルは、PascalVOC2012 val セットで 75%、MS-COCO2014 val セットで 46% の mIoU で、Weakly Supervised Semantic Segmentation、画像レベルのラベルのみで最先端を達成しています。
画像レベルのラベルを削除し、自己教師あり学習機能をクラスタリングして疑似マルチレベル ラベルを生成すると、セマンティック セグメンテーションの教師なしモデルが得られます。
また、教師なしセマンティック セグメンテーションでは、PascalVOC2012 val セットで 43.6% の mIoU、MS-COCO2014 val セットで 19.4% の最先端を達成しています。
コードは https://github.com/deepplants/PC2M で入手できます。

要約(オリジナル)

Removing supervision in semantic segmentation is still tricky. Current approaches can deal with common categorical patterns yet resort to multi-stage architectures. We design a novel end-to-end model leveraging local-global patch matching to predict categories, good localization, area and shape of objects for semantic segmentation. The local-global matching is, in turn, compelled by optimal transport plans fulfilling area constraints nearing a solution for exact shape prediction. Our model attains state-of-the-art in Weakly Supervised Semantic Segmentation, only image-level labels, with 75% mIoU on PascalVOC2012 val set and 46% on MS-COCO2014 val set. Dropping the image-level labels and clustering self-supervised learned features to yield pseudo-multi-level labels, we obtain an unsupervised model for semantic segmentation. We also attain state-of-the-art on Unsupervised Semantic Segmentation with 43.6% mIoU on PascalVOC2012 val set and 19.4% on MS-COCO2014 val set. The code is available at https://github.com/deepplants/PC2M.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google