Prototype Knowledge Distillation for Medical Segmentation with Missing Modality

要約

タイトル：医療画像セグメンテーションにおける欠損モダリティのプロトタイプ知識蒸留

要約：

– 多数のモダリティの医療画像は、メディカル・イメージ・セグメンテーションにおいて相補的な情報を提供するため、臨床治療において重要である。
– しかし、スキャン時間の制限やその他の臨床状況のため、臨床現場で多数のモダリティの医療画像を収集することは困難である。
– そこで、欠損モダリティの問題を扱う画像セグメンテーションパラダイムを開発することが臨床的に意義がある。
– この論文では、プロトタイプ知識蒸留（ProtoKD）という手法を提案している。
– ProtoKDは、単一のモダリティのみアクセス可能な最も厳しいシナリオに対応することができる。
– 具体的には、ProtoKDは、マルチモダリティデータのピクセル単位の知識を単一のモダリティデータに蒸留することができるだけでなく、クラス内およびクラス間の特徴変動を転送することができるため、学習モデルが教師モデルからより強固な特徴表現を学習し、単一のモダリティデータで推論を行うことができる。
– この手法は、BraTSベンチマークで最先端の性能を発揮している。また、コードは\url{https://github.com/SakurajimaMaiii/ProtoKD}で入手可能である。

要約(オリジナル)

Multi-modality medical imaging is crucial in clinical treatment as it can provide complementary information for medical image segmentation. However, collecting multi-modal data in clinical is difficult due to the limitation of the scan time and other clinical situations. As such, it is clinically meaningful to develop an image segmentation paradigm to handle this missing modality problem. In this paper, we propose a prototype knowledge distillation (ProtoKD) method to tackle the challenging problem, especially for the toughest scenario when only single modal data can be accessed. Specifically, our ProtoKD can not only distillate the pixel-wise knowledge of multi-modality data to single-modality data but also transfer intra-class and inter-class feature variations, such that the student model could learn more robust feature representation from the teacher model and inference with only one single modality data. Our method achieves state-of-the-art performance on BraTS benchmark. The code is available at \url{https://github.com/SakurajimaMaiii/ProtoKD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI