CobNet: Cross Attention on Object and Background for Few-Shot Segmentation

要約

少数ショット セグメンテーションは、少数の注釈付きサンプルのみを使用して、以前は見られなかったクラスのオブジェクトを含む画像をセグメント化することを目的としています。
最新の方法のほとんどは、人間の注釈を利用してサポート画像から抽出されたオブジェクト情報を使用して、新しいクエリ画像で同じオブジェクトを識別することに重点を置いています。
ただし、背景情報は、オブジェクトを周囲から区別するのにも役立ちます。
したがって、以前の方法の中には、サポート画像から背景情報を抽出するものもあります。
この論文では、さまざまな画像の背景が大きく異なる可能性があるため、そのような情報は有用性が限られていると主張します。
この問題を克服するために、これらの画像の注釈なしでクエリ画像から抽出された背景に関する情報を利用する CobNet を提案します。
実験では、PASCAL-5i と COCO-20i の 1 ショット セグメンテーションで、それぞれ 61.4% と 37.8% の平均 Intersection-over-Union スコアを達成し、以前の方法よりも優れていることが示されています。
また、サポート画像に注釈が提供されていない、弱い教師付きの少数ショット セグメンテーションで 53.7% の最先端のパフォーマンスを生成することも示されています。

要約(オリジナル)

Few-shot segmentation aims to segment images containing objects from previously unseen classes using only a few annotated samples. Most current methods focus on using object information extracted, with the aid of human annotations, from support images to identify the same objects in new query images. However, background information can also be useful to distinguish objects from their surroundings. Hence, some previous methods also extract background information from the support images. In this paper, we argue that such information is of limited utility, as the background in different images can vary widely. To overcome this issue, we propose CobNet which utilises information about the background that is extracted from the query images without annotations of those images. Experiments show that our method achieves a mean Intersection-over-Union score of 61.4% and 37.8% for 1-shot segmentation on PASCAL-5i and COCO-20i respectively, outperforming previous methods. It is also shown to produce state-of-the-art performances of 53.7% for weakly-supervised few-shot segmentation, where no annotations are provided for the support images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google