Adapt Before Comparison: A New Perspective on Cross-Domain Few-Shot Segmentation

要約

トレーニング ドメインとは異なるドメインからの画像に直面すると、少数ショットのセグメンテーションのパフォーマンスが大幅に低下し、実際の使用例が実質的に制限されます。
これを軽減するために、最近、クロスドメイン少数ショット セグメンテーション (CD-FSS) が登場しました。
このタスクに取り組む研究では、主に、ドメイン全体で一般化する方法でソース ドメインのセグメンテーションを学習しようとしました。
驚くべきことに、トレーニング段階を排除し、主要なセグメンテーション ネットワークを削除しながら、これらのアプローチよりも優れたパフォーマンスを実現できます。
代わりに、テスト時のタスク適応が CD-FSS を成功させる鍵であることを示します。
タスク適応は、従来の分類で事前トレーニングされたバックボーンの特徴ピラミッドに小さなネットワークを追加することによって実現されます。
教師あり微調整で少数のラベル付きサンプルへの過剰適合を回避するために、入力画像の拡張ビュー間の一貫性が、アタッチされたレイヤーのパラメーターを学習する際の指針として機能します。
テスト時にはいくつかのラベル付きサンプル以外の画像を使用しないという自己制限にもかかわらず、CD-FSS で新しい最先端のパフォーマンスを達成し、このタスクのアプローチを再考する必要があることを証明しました。

要約(オリジナル)

Few-shot segmentation performance declines substantially when facing images from a domain different than the training domain, effectively limiting real-world use cases. To alleviate this, recently cross-domain few-shot segmentation (CD-FSS) has emerged. Works that address this task mainly attempted to learn segmentation on a source domain in a manner that generalizes across domains. Surprisingly, we can outperform these approaches while eliminating the training stage and removing their main segmentation network. We show test-time task-adaption is the key for successful CD-FSS instead. Task-adaption is achieved by appending small networks to the feature pyramid of a conventionally classification-pretrained backbone. To avoid overfitting to the few labeled samples in supervised fine-tuning, consistency across augmented views of input images serves as guidance while learning the parameters of the attached layers. Despite our self-restriction not to use any images other than the few labeled samples at test time, we achieve new state-of-the-art performance in CD-FSS, evidencing the need to rethink approaches for the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google