Dense Affinity Matching for Few-Shot Segmentation

要約

フューショット セグメンテーション (FSS) は、少数の注釈付きサンプルを使用して新しいクラス イメージをセグメント化することを目的としています。
この論文では、双方向 3D 畳み込みを使用して各サポート クエリ ペアのピクセル対ピクセルおよびピクセル対パッチの両方の関係を高密度にキャプチャすることにより、サポート クエリの相互作用を利用する高密度アフィニティ マッチング (DAM) フレームワークを提案します。
サポート背景を削除する既存の方法とは異なり、背景関連のクエリ特徴をフィルタリングし、サポート背景の支援を受けて前景関連のクエリ特徴を保持するヒステリシス空間フィルタリング モジュール (HSFM) を設計します。これは、サポート背景を除去するのに有益です。
クエリバックグラウンドの干渉オブジェクト。
私たちは、クロスカテゴリー、クロスデータセット、クロスドメイン FSS タスクの下で 10 のベンチマークで DAM を包括的に評価します。
実験結果は、DAM がわずか 0.68M パラメータのさまざまな設定の下で、特にクロスドメイン FSS タスクの下で非常に競争力のあるパフォーマンスを示し、その有効性と効率性を示しています。

要約(オリジナル)

Few-Shot Segmentation (FSS) aims to segment the novel class images with a few annotated samples. In this paper, we propose a dense affinity matching (DAM) framework to exploit the support-query interaction by densely capturing both the pixel-to-pixel and pixel-to-patch relations in each support-query pair with the bidirectional 3D convolutions. Different from the existing methods that remove the support background, we design a hysteretic spatial filtering module (HSFM) to filter the background-related query features and retain the foreground-related query features with the assistance of the support background, which is beneficial for eliminating interference objects in the query background. We comprehensively evaluate our DAM on ten benchmarks under cross-category, cross-dataset, and cross-domain FSS tasks. Experimental results demonstrate that DAM performs very competitively under different settings with only 0.68M parameters, especially under cross-domain FSS tasks, showing its effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google