Few Exemplar-Based General Medical Image Segmentation via Domain-Aware Selective Adaptation

要約

医療画像のセグメンテーションは、特に低中所得国 (LMIC) において、ドメインギャップ、データモダリティの多様性、ドメイン知識や専門家への依存により課題を引き起こします。
一方、人間の場合、いくつかのサンプル (対応するラベル付き) があれば、広範な領域固有の臨床トレーニングがなくても、さまざまな医療画像をセグメント化することができます。
さらに、現在の SAM ベースの医療セグメンテーション モデルは、テスト段階でバウンディング ボックス (bbox) プロンプトとして、手動で注釈を付けたターゲット セグメンテーション マスクから生成された境界四角形などのきめの細かい視覚的プロンプトを使用します。
ただし、実際の臨床シナリオでは、そのような正確な事前知識は利用できません。
私たちの実験結果では、より粗い bbox プロンプトが与えられた場合、以前のモデルは予測にほとんど失敗することも明らかになりました。
これらの問題を考慮して、この論文では、自然画像でトレーニングされた大規模なモデルから学習した一般知識を、少数 (例: 5 つ未満) のみにアクセスしながら、対応する医療ドメイン/モダリティに適応させる、ドメインを意識した選択的適応アプローチを導入します。
）の例。
私たちの方法は前述の制限を軽減し、効率的で LMIC に優しいソリューションを提供します。
広範な実験分析により、私たちのアプローチの有効性が実証され、LMIC における医療診断と臨床応用の潜在的な進歩がもたらされます。

要約(オリジナル)

Medical image segmentation poses challenges due to domain gaps, data modality variations, and dependency on domain knowledge or experts, especially for low- and middle-income countries (LMICs). Whereas for humans, given a few exemplars (with corresponding labels), we are able to segment different medical images even without exten-sive domain-specific clinical training. In addition, current SAM-based medical segmentation models use fine-grained visual prompts, such as the bounding rectangle generated from manually annotated target segmentation mask, as the bounding box (bbox) prompt during the testing phase. However, in actual clinical scenarios, no such precise prior knowledge is available. Our experimental results also reveal that previous models nearly fail to predict when given coarser bbox prompts. Considering these issues, in this paper, we introduce a domain-aware selective adaptation approach to adapt the general knowledge learned from a large model trained with natural images to the corresponding medical domains/modalities, with access to only a few (e.g. less than 5) exemplars. Our method mitigates the aforementioned limitations, providing an efficient and LMICs-friendly solution. Extensive experimental analysis showcases the effectiveness of our approach, offering potential advancements in healthcare diagnostics and clinical applications in LMICs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google