Few-shot Segmentation with Optimal Transport Matching and Message Flow

要約

この作業では、数ショットのセグメンテーションという難しいタスクに取り組みます。
数ショットのセマンティックセグメンテーションでは、サポート情報を十分に活用することが不可欠です。
以前の方法では、通常、サポート機能に対してマスクされた平均プーリングを採用して、サポートの手がかりをグローバルベクトルとして抽出します。これは通常、顕著な部分によって支配され、特定の重要な手がかりを失います。
この作業では、すべてのサポートピクセルの情報をすべてのクエリピクセルに転送することが望ましいと主張し、クエリとサポート画像間の対応を掘り起こすための最適なトランスポートマッチングモジュールを備えた通信マッチングネットワーク（CMNet）を提案します。
さらに、注釈付きのサポート画像からのローカル情報とグローバル情報の両方を十分に活用することが重要です。
この目的のために、メッセージフローモジュールを提案して、同じ画像内の内部フローに沿ってメッセージを伝播し、サポート画像とクエリ画像の間のクロスフローを提案します。これにより、ローカル機能の表現が大幅に強化されます。
PASCAL VOC 2012、MS COCO、およびFSS-1000データセットでの実験は、私たちのネットワークが新しい最先端の数ショットのセグメンテーションパフォーマンスを達成することを示しています。

要約(オリジナル)

We tackle the challenging task of few-shot segmentation in this work. It is essential for few-shot semantic segmentation to fully utilize the support information. Previous methods typically adopt masked average pooling over the support feature to extract the support clues as a global vector, usually dominated by the salient part and lost certain essential clues. In this work, we argue that every support pixel’s information is desired to be transferred to all query pixels and propose a Correspondence Matching Network (CMNet) with an Optimal Transport Matching module to mine out the correspondence between the query and support images. Besides, it is critical to fully utilize both local and global information from the annotated support images. To this end, we propose a Message Flow module to propagate the message along the inner-flow inside the same image and cross-flow between support and query images, which greatly helps enhance the local feature representations. Experiments on PASCAL VOC 2012, MS COCO, and FSS-1000 datasets show that our network achieves new state-of-the-art few-shot segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google