Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation

要約

エンドツーエンドの弱教師セマンティック セグメンテーションは、画像アノテーションのみに基づいた単一ステージのトレーニング プロセスでセグメンテーション モデルを最適化することを目的としています。
既存の方法では、オンラインでトレーニングされた分類ブランチを採用して、セグメンテーション ブランチを監視するための疑似注釈を提供します。
ただし、この戦略では、分類ブランチが同時トレーニング プロセス全体を支配することになり、これら 2 つのブランチが相互に支援することが妨げられます。
私たちの作業では、これら 2 つのブランチをセグメンテーション マップを生成するための多様な方法とみなして同等に扱い、相互の促進を達成するためにそれらの監視と操作の両方にインタラクションを追加します。
この目的のために、これら 2 つのブランチの出力間の一貫性を強制するために、双方向の監視メカニズムが精巧に作られています。
したがって、セグメンテーション ブランチは、ローカリゼーション シードの品質を向上させるために分類ブランチにフィードバックを与えることもできます。
さらに、私たちの方法は、これら 2 つのブランチ間の相互作用操作も設計し、互いを支援するために知識を交換します。
実験によれば、私たちの研究は既存のエンドツーエンドの弱く監視されたセグメンテーション手法よりも優れていることが示されています。

要約(オリジナル)

End-to-end weakly supervised semantic segmentation aims at optimizing a segmentation model in a single-stage training process based on only image annotations. Existing methods adopt an online-trained classification branch to provide pseudo annotations for supervising the segmentation branch. However, this strategy makes the classification branch dominate the whole concurrent training process, hindering these two branches from assisting each other. In our work, we treat these two branches equally by viewing them as diverse ways to generate the segmentation map, and add interactions on both their supervision and operation to achieve mutual promotion. For this purpose, a bidirectional supervision mechanism is elaborated to force the consistency between the outputs of these two branches. Thus, the segmentation branch can also give feedback to the classification branch to enhance the quality of localization seeds. Moreover, our method also designs interaction operations between these two branches to exchange their knowledge to assist each other. Experiments indicate our work outperforms existing end-to-end weakly supervised segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google