Cross-Domain Few-Shot Segmentation via Iterative Support-Query Correspondence Mining

要約

クロスドメイン フューショット セグメンテーション (CD-FSS) では、限られたサンプルのみを使用して、別個のドメインから新しいカテゴリをセグメント化するという課題が生じます。
このホワイトペーパーでは、CD-FSS の包括的な研究を行い、(i) 学習したメタ知識をドメイン間で効果的に転送するための微調整段階の必要性、および (ii) CD-FSS の実行中の過剰適合リスクという 2 つの重要な洞察を明らかにします。
新しいカテゴリの例が不足しているため、微調整が単純です。
これらの洞察をもとに、困難な CD-FSS タスクに対処する新しいクロスドメイン微調整戦略を提案します。
まず、双方向の少数ショット予測 (BFP) を設計します。これは、双方向の方法でサポートとクエリの対応を確立し、過剰適合のリスクを軽減するための拡張監視を作成します。
次に、BFP を Iterative Few-shot Adaptor (IFA) にさらに拡張します。IFA は、サポート クエリの対応を反復的に取得するための再帰的フレームワークであり、疎な新規カテゴリ サンプルからの監視信号を最大限に利用することを目的としています。
広範な実証的評価により、私たちの手法が最先端の手法を大幅に上回っていることが示され (+7.8\%)、これは IFA がクロスドメインの課題に取り組み、同時に過剰学習を軽減していることを証明しています。
コードが利用可能になります。

要約(オリジナル)

Cross-Domain Few-Shot Segmentation (CD-FSS) poses the challenge of segmenting novel categories from a distinct domain using only limited exemplars. In this paper, we undertake a comprehensive study of CD-FSS and uncover two crucial insights: (i) the necessity of a fine-tuning stage to effectively transfer the learned meta-knowledge across domains, and (ii) the overfitting risk during the na\’ive fine-tuning due to the scarcity of novel category examples. With these insights, we propose a novel cross-domain fine-tuning strategy that addresses the challenging CD-FSS tasks. We first design Bi-directional Few-shot Prediction (BFP), which establishes support-query correspondence in a bi-directional manner, crafting augmented supervision to reduce the overfitting risk. Then we further extend BFP into Iterative Few-shot Adaptor (IFA), which is a recursive framework to capture the support-query correspondence iteratively, targeting maximal exploitation of supervisory signals from the sparse novel category samples. Extensive empirical evaluations show that our method significantly outperforms the state-of-the-arts (+7.8\%), which verifies that IFA tackles the cross-domain challenges and mitigates the overfitting simultaneously. Code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google