Leveraging Segment Anything Model for Source-Free Domain Adaptation via Dual Feature Guided Auto-Prompting

要約

セグメンテーション用のソースフリードメイン適応（SFDA）は、ソースモデルのみでターゲットドメインでうまく機能するように、ソースドメインでうまく機能するように適応することを目的としています。
自動的に正確な境界ボックスプロンプトを見つけることによるSFDAのモデル。
既存のSFDAアプローチで直接生成された境界ボックスは、ドメインギャップのために欠陥があることがわかります。この問題に取り組むために、ボックスプロンプトを検索するために、新しいデュアル機能ガイド（DFG）オートプロンプキングアプローチを提案します。
具体的には、ソースモデルは最初に機能集約フェーズでトレーニングされます。これは、ソースモデルをターゲットドメインに事前に適応させるだけでなく、ボックスプロンプト検索用に適切に準備された機能分布を構築します。
2番目のフェーズでは、2つの機能分布観測に基づいて、ターゲットモデル機能のガイダンスと、クラスごとのクラスター化されたターゲット機能とクラスごとの分散ターゲット機能をそれぞれ処理するSAM機能のガイダンスでボックスプロンプトを徐々に展開します。
ターゲットモデルの自信過剰予測によって引き起こされる潜在的に拡大された偽陽性領域を除去するために、SAMが生成する洗練された擬似適応は、接続性分析に基づいてさらに後処理されます。
3Dおよび2Dデータセットでの実験は、私たちのアプローチが従来の方法と比較して優れた性能をもたらすことを示しています。
コードはhttps://github.com/zheangh/dfgで入手できます。

要約(オリジナル)

Source-free domain adaptation (SFDA) for segmentation aims at adapting a model trained in the source domain to perform well in the target domain with only the source model and unlabeled target data.Inspired by the recent success of Segment Anything Model (SAM) which exhibits the generality of segmenting images of various modalities and in different domains given human-annotated prompts like bounding boxes or points, we for the first time explore the potentials of Segment Anything Model for SFDA via automatedly finding an accurate bounding box prompt. We find that the bounding boxes directly generated with existing SFDA approaches are defective due to the domain gap.To tackle this issue, we propose a novel Dual Feature Guided (DFG) auto-prompting approach to search for the box prompt. Specifically, the source model is first trained in a feature aggregation phase, which not only preliminarily adapts the source model to the target domain but also builds a feature distribution well-prepared for box prompt search. In the second phase, based on two feature distribution observations, we gradually expand the box prompt with the guidance of the target model feature and the SAM feature to handle the class-wise clustered target features and the class-wise dispersed target features, respectively. To remove the potentially enlarged false positive regions caused by the over-confident prediction of the target model, the refined pseudo-labels produced by SAM are further postprocessed based on connectivity analysis. Experiments on 3D and 2D datasets indicate that our approach yields superior performance compared to conventional methods. Code is available at https://github.com/zheangh/DFG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google