PG-SAM: Prior-Guided SAM with Medical for Multi-organ Segmentation

要約

セグメントAnything Model（SAM）は、強力なゼロショット機能を示しています。
ただし、医療画像セグメンテーションに適用すると、その精度と堅牢性は大幅に減少します。
既存の方法は、モダリティの融合を通じてこの問題に対処し、テキスト情報と画像情報を統合して、より詳細なプライアーを提供します。
この研究では、テキストの粒度とドメインギャップがプライアーの精度に影響すると主張します。
さらに、画像の高レベルの抽象セマンティクスとピクセルレベルの境界の詳細との矛盾は、融合プロセスにノイズを導入する可能性があります。
これに対処するために、事前に誘導されたSAM（PG-SAM）を提案します。これは、より良いモダリティアライメントのために専門的な医療知識を活用するために、きめ細かい密集したモダリティ以前のアライナーを採用しています。
私たちの方法の中核は、医療LLMからのきめの細かいテキストでドメインギャップに効率的に対処することにあります。
一方、モダリティのアラインメント後のプライアーズの品質も向上し、より正確なセグメンテーションを確保します。
さらに、デコーダーは、マルチレベルの特徴融合および反復マスクオプティマイザー操作を通じて、モデルの表現力を高め、採用されていない学習をサポートします。
また、高品質のセマンティック情報をSAMに効果的に提供する統一されたパイプラインを提案します。
シナプスデータセットでの広範な実験は、提案されたPG-SAMが最先端のパフォーマンスを達成することを示しています。
私たちのコードはhttps://github.com/logan-0623/pg-samでリリースされています。

要約(オリジナル)

Segment Anything Model (SAM) demonstrates powerful zero-shot capabilities; however, its accuracy and robustness significantly decrease when applied to medical image segmentation. Existing methods address this issue through modality fusion, integrating textual and image information to provide more detailed priors. In this study, we argue that the granularity of text and the domain gap affect the accuracy of the priors. Furthermore, the discrepancy between high-level abstract semantics and pixel-level boundary details in images can introduce noise into the fusion process. To address this, we propose Prior-Guided SAM (PG-SAM), which employs a fine-grained modality prior aligner to leverage specialized medical knowledge for better modality alignment. The core of our method lies in efficiently addressing the domain gap with fine-grained text from a medical LLM. Meanwhile, it also enhances the priors’ quality after modality alignment, ensuring more accurate segmentation. In addition, our decoder enhances the model’s expressive capabilities through multi-level feature fusion and iterative mask optimizer operations, supporting unprompted learning. We also propose a unified pipeline that effectively supplies high-quality semantic information to SAM. Extensive experiments on the Synapse dataset demonstrate that the proposed PG-SAM achieves state-of-the-art performance. Our code is released at https://github.com/logan-0623/PG-SAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google