Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation

要約

危険にさらされている腫瘍および臓器の医用画像セグメンテーションは、セグメンテーションの精度を高めるためにマルチモダリティ イメージング (さまざまな取得、データ タイプ、シーケンスなど) を利用するクリニックにおける時間のかかる重要なプロセスです。
この論文では、入力モダリティが医用画像セグメンテーションに及ぼす影響を調査するための、新しいフレームワークであるマルチモダリティ自己分離学習 (MAG-MS) を提案します。
MAG-MS は、複数のモダリティの融合から知識を抽出し、それを適用して個々のモダリティの表現学習を強化します。
したがって、テスト中に限られたモダリティを処理するための多用途かつ効率的なアプローチを提供します。
ベンチマーク データセットに関する広範な実験により、MAG-MS の効率が高く、現在の最先端の方法よりも優れたセグメンテーション パフォーマンスが実証されています。
さらに、MAG-MS を使用して、医療画像セグメンテーション タスクの入力モダリティの選択に関する貴重な洞察とガイダンスを提供します。

要約(オリジナル)

Medical image segmentation of tumors and organs at risk is a time-consuming yet critical process in the clinic that utilizes multi-modality imaging (e.g, different acquisitions, data types, and sequences) to increase segmentation precision. In this paper, we propose a novel framework, Modality-Agnostic learning through Multi-modality Self-dist-illation (MAG-MS), to investigate the impact of input modalities on medical image segmentation. MAG-MS distills knowledge from the fusion of multiple modalities and applies it to enhance representation learning for individual modalities. Thus, it provides a versatile and efficient approach to handle limited modalities during testing. Our extensive experiments on benchmark datasets demonstrate the high efficiency of MAG-MS and its superior segmentation performance than current state-of-the-art methods. Furthermore, using MAG-MS, we provide valuable insight and guidance on selecting input modalities for medical image segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google