RestNet: Boosting Cross-Domain Few-Shot Segmentation with Residual Transformation Network

要約

クロスドメイン少数ショット セグメンテーション (CD-FSS) は、限られた数のアノテーション付きサンプルを使用して、これまで見えなかったドメインでセマンティック セグメンテーションを実現することを目的としています。
既存の CD-FSS モデルはクロスドメインの特徴変換に重点を置いていますが、ドメイン間の知識伝達のみに依存すると、重要なドメイン内の情報が失われる可能性があります。
この目的を達成するために、ドメイン内のサポートクエリ機能情報を保持しながら知識の伝達を容易にする新しい残差変換ネットワーク (RestNet) を提案します。
具体的には、高度なセマンティクスを使用して安定したドメインに依存しない空間に特徴をマッピングする Semantic Enhanced Anchor Transform (SEAT) モジュールを提案します。
さらに、ドメイン内残差強化 (IRE) モジュールは、新しい空間で元の判別空間のドメイン内表現を維持するように設計されています。
また、モデルがセグメント化する方法を徐々に学習できるように、プロトタイプの融合に基づいたマスク予測戦略も提案します。
当社の RestNet は、追加の微調整を必要とせずに、ドメイン間およびドメイン内の両方からクロスドメインの知識を転送できます。
ISIC、胸部 X 線、および FSS-1000 に関する広範な実験により、当社の RestNet が最先端のパフォーマンスを達成していることが示されています。
私たちのコードは間もなく利用可能になります。

要約(オリジナル)

Cross-domain few-shot segmentation (CD-FSS) aims to achieve semantic segmentation in previously unseen domains with a limited number of annotated samples. Although existing CD-FSS models focus on cross-domain feature transformation, relying exclusively on inter-domain knowledge transfer may lead to the loss of critical intra-domain information. To this end, we propose a novel residual transformation network (RestNet) that facilitates knowledge transfer while retaining the intra-domain support-query feature information. Specifically, we propose a Semantic Enhanced Anchor Transform (SEAT) module that maps features to a stable domain-agnostic space using advanced semantics. Additionally, an Intra-domain Residual Enhancement (IRE) module is designed to maintain the intra-domain representation of the original discriminant space in the new space. We also propose a mask prediction strategy based on prototype fusion to help the model gradually learn how to segment. Our RestNet can transfer cross-domain knowledge from both inter-domain and intra-domain without requiring additional fine-tuning. Extensive experiments on ISIC, Chest X-ray, and FSS-1000 show that our RestNet achieves state-of-the-art performance. Our code will be available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google