ProSFDA: Prompt Learning based Source-free Domain Adaptation for Medical Image Segmentation

要約

異なる状況で取得された医用画像間に存在するドメインの不一致は、臨床使用のために事前にトレーニングされた医用画像セグメンテーション モデルを展開する上で大きな障害となります。
膨大なデータ サイズとプライバシーの問題により、事前トレーニング済みモデルでトレーニング データを配布することはあまり不可能であるため、ソースフリーの教師なしドメイン適応 (SFDA) は、疑似ラベルまたは事前知識に基づいて最近ますます研究されています。
ただし、疑似ラベルベースの SFDA で使用される画像の特徴と確率マップ、および事前誘導 SFDA で使用される一貫性のある事前仮定と事前予測ネットワークは、ドメインの不一致が大きい場合、信頼性が低下する可能性があります。
この論文では、ドメインの不一致を明示的に最小化することにより、ドメイン適応の品質を向上させることを目的とした、医用画像セグメンテーションのための \textbf{Pro}mpt 学習ベースの \textbf{SFDA} (\textbf{ProSFDA}) メソッドを提案します。
具体的には、プロンプト学習段階では、ドメイン認識プロンプトをターゲット ドメインの画像に追加することでソース ドメインの画像を推定し、統計的なアライメントの損失を最小限に抑えてプロンプトを最適化し、それによってソース モデルに信頼できる予測を生成するよう促します (
変更された) ターゲット ドメイン イメージ。
機能の調整段階では、ターゲット ドメインの画像とスタイルが拡張された対応する画像の機能を調整してソース モデルを最適化し、モデルをプッシュしてコンパクトな機能を抽出します。
2 つのマルチドメイン医療画像セグメンテーション ベンチマークで ProSFDA を評価します。
私たちの結果は、提案された ProSFDA が他の SFDA メソッドよりも大幅に優れており、UDA メソッドに匹敵することさえあることを示しています。
コードは \url{https://github.com/ShishuaiHu/ProSFDA} で入手できます。

要約(オリジナル)

The domain discrepancy existed between medical images acquired in different situations renders a major hurdle in deploying pre-trained medical image segmentation models for clinical use. Since it is less possible to distribute training data with the pre-trained model due to the huge data size and privacy concern, source-free unsupervised domain adaptation (SFDA) has recently been increasingly studied based on either pseudo labels or prior knowledge. However, the image features and probability maps used by pseudo label-based SFDA and the consistent prior assumption and the prior prediction network used by prior-guided SFDA may become less reliable when the domain discrepancy is large. In this paper, we propose a \textbf{Pro}mpt learning based \textbf{SFDA} (\textbf{ProSFDA}) method for medical image segmentation, which aims to improve the quality of domain adaption by minimizing explicitly the domain discrepancy. Specifically, in the prompt learning stage, we estimate source-domain images via adding a domain-aware prompt to target-domain images, then optimize the prompt via minimizing the statistic alignment loss, and thereby prompt the source model to generate reliable predictions on (altered) target-domain images. In the feature alignment stage, we also align the features of target-domain images and their styles-augmented counterparts to optimize the source model, and hence push the model to extract compact features. We evaluate our ProSFDA on two multi-domain medical image segmentation benchmarks. Our results indicate that the proposed ProSFDA outperforms substantially other SFDA methods and is even comparable to UDA methods. Code will be available at \url{https://github.com/ShishuaiHu/ProSFDA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google