SAM-aware Test-time Adaptation for Universal Medical Image Segmentation

要約

セグメントを使用したユニバーサル医療画像セグメンテーションAnything Anything Model（SAM）は、医療ドメインへの適応性が限られているため、依然として困難です。
Medsamなどの既存の適応は、医療イメージングにおけるSAMのパフォーマンスを強化しますが、目に見えないデータに一般化を減らすことができます。
したがって、このホワイトペーパーでは、SAMがアウェアするテスト時間適応（SAM-TTA）を提案します。これは、SAMの一般化を保持しながら、テスト時間フレームワークを介して医療画像のセグメンテーションパフォーマンスを改善する根本的に異なるパイプラインです。
SAM-TTAは、2つの重要な課題に取り組んでいます。（1）自然画像と医療画像間の画像獲得の違いによって引き起こされる入力レベルの矛盾、および（2）自然ドメインと医療ドメインの間のオブジェクト定義の基本的な違いによるセマンティックレベルの矛盾（例えば、明確な境界と曖昧な構造）。
具体的には、我々のSAM-TTAフレームワークは（1）自己適応性のbezier曲線ベースの変換（SBCT）で構成されています。これは、単一チャネルの医療画像を3チャンネルのSAM互換入力に適応的に変換し、構造的完全性を維持し、医学的および自然な画像の間の入力ギャップを緩和し、（2）デュアルスケールのemakaledのsmainty dums cmscidty dums a dumtを緩和します。
医療セマンティクスの表現、補助監督や高価な再訓練なしで効率的な適応を可能にします。
5つのパブリックデータセットでの広範な実験は、SAM-TTAが既存のTTAアプローチを上回り、特定のシナリオでMedsamなどの完全に微調整されたモデルを上回り、普遍的な医療画像セグメンテーションの新しいパラダイムを確立することを示しています。
コードはhttps://github.com/jianghaowu/sam-ttaにあります。

要約(オリジナル)

Universal medical image segmentation using the Segment Anything Model (SAM) remains challenging due to its limited adaptability to medical domains. Existing adaptations, such as MedSAM, enhance SAM’s performance in medical imaging but at the cost of reduced generalization to unseen data. Therefore, in this paper, we propose SAM-aware Test-Time Adaptation (SAM-TTA), a fundamentally different pipeline that preserves the generalization of SAM while improving its segmentation performance in medical imaging via a test-time framework. SAM-TTA tackles two key challenges: (1) input-level discrepancies caused by differences in image acquisition between natural and medical images and (2) semantic-level discrepancies due to fundamental differences in object definition between natural and medical domains (e.g., clear boundaries vs. ambiguous structures). Specifically, our SAM-TTA framework comprises (1) Self-adaptive Bezier Curve-based Transformation (SBCT), which adaptively converts single-channel medical images into three-channel SAM-compatible inputs while maintaining structural integrity, to mitigate the input gap between medical and natural images, and (2) Dual-scale Uncertainty-driven Mean Teacher adaptation (DUMT), which employs consistency learning to align SAM’s internal representations to medical semantics, enabling efficient adaptation without auxiliary supervision or expensive retraining. Extensive experiments on five public datasets demonstrate that our SAM-TTA outperforms existing TTA approaches and even surpasses fully fine-tuned models such as MedSAM in certain scenarios, establishing a new paradigm for universal medical image segmentation. Code can be found at https://github.com/JianghaoWu/SAM-TTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google