Query Semantic Reconstruction for Background in Few-Shot Segmentation

要約

少数ショット セグメンテーション (FSS) は、いくつかの注釈付きサンプルを使用して、目に見えないクラスをセグメント化することを目的としています。
通常、前景クラスを表すプロトタイプは、注釈付きのサポート画像から抽出され、クエリ画像の各ピクセルを表す特徴と照合されます。
ただし、この方法で学習したモデルは識別力が不十分であり、多くの場合、誤検知 (背景ピクセルを前景として誤分類) を生成します。
一部の FSS メソッドは、サポート画像の背景を使用してクエリ画像の背景を識別しやすくすることで、この問題に対処しようとします。
ただし、これらの画像の背景はしばしば非常に明確であるため、サポート画像の背景情報は有益ではありません。
この記事では、クエリ イメージ自体から背景を抽出する QSR という方法を提案します。その結果、クエリ イメージの前景と背景の特徴をより適切に区別できます。
これは、トレーニング データからの既知のクラスと未知の背景オブジェクトを表す潜在クラスを含むクラス ラベルにプロトタイプを関連付けるようにトレーニング プロセスを変更することによって実現されます。
次に、このクラス情報を使用して、クエリ イメージから背景プロトタイプを抽出します。
プロトタイプをクラス ラベルに関連付けて、画像の背景領域のマスクを予測できる背景プロトタイプを抽出するために、前景プロトタイプを抽出して使用するための機構が、異なるクラス間でより識別可能になるように誘導されます。
PASCAL-5i および COCO-20i データセットの両方での 1 ショットおよび 5 ショット FSS の実験は、提案された方法が適用されるベースライン方法のパフォーマンスの大幅な改善をもたらすことを示しています。
QSR はトレーニング中にのみ動作するため、これらの改善された結果は、テスト中に余分な計算を複雑にすることなく生成されます。

要約(オリジナル)

Few-shot segmentation (FSS) aims to segment unseen classes using a few annotated samples. Typically, a prototype representing the foreground class is extracted from annotated support image(s) and is matched to features representing each pixel in the query image. However, models learnt in this way are insufficiently discriminatory, and often produce false positives: misclassifying background pixels as foreground. Some FSS methods try to address this issue by using the background in the support image(s) to help identify the background in the query image. However, the backgrounds of theses images is often quite distinct, and hence, the support image background information is uninformative. This article proposes a method, QSR, that extracts the background from the query image itself, and as a result is better able to discriminate between foreground and background features in the query image. This is achieved by modifying the training process to associate prototypes with class labels including known classes from the training data and latent classes representing unknown background objects. This class information is then used to extract a background prototype from the query image. To successfully associate prototypes with class labels and extract a background prototype that is capable of predicting a mask for the background regions of the image, the machinery for extracting and using foreground prototypes is induced to become more discriminative between different classes. Experiments for both 1-shot and 5-shot FSS on both the PASCAL-5i and COCO-20i datasets demonstrate that the proposed method results in a significant improvement in performance for the baseline methods it is applied to. As QSR operates only during training, these improved results are produced with no extra computational complexity during testing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google