Deep Multimodal Guidance for Medical Image Classification

要約

医用画像は、現代医学における治療と診断の基礎です。
ただし、特定の治療タスクの画像モダリティの選択には、通常、特定のモダリティを使用する可能性（たとえば、短い待機時間、低コスト、迅速な取得、放射線/侵襲性の低減）と臨床で期待されるパフォーマンスとの間のトレードオフが含まれます。
タスク（例：診断精度、治療計画およびガイダンスの有効性）。
この作業では、実行可能性は低いがパフォーマンスが高い（優れた）モダリティから学んだ知識を適用して、実行可能であるがパフォーマンスが低い（劣った）モダリティの利用を導き、パフォーマンスの向上に向けます。
画像ベースの診断のための深層学習の応用に焦点を当てています。
劣ったモダリティのみを消費するモデルをトレーニングするときに、優れたモダリティから学習した潜在的な表現を活用する軽量のガイダンスモデルを開発します。
2つの臨床応用の文脈で私たちの方法の利点を調べます：臨床および皮膚鏡画像からのマルチタスク皮膚病変分類とマルチシーケンス磁気共鳴画像法（MRI）および組織病理学画像からの脳腫瘍分類。
これらの両方のシナリオで、優れたモダリティを必要とせずに、劣ったモダリティの診断パフォーマンスが向上することを示しています。
さらに、脳腫瘍分類の場合、私たちの方法は、推論中に両方のモダリティを使用するモデルと同等の結果を生成しながら、優れたモダリティでトレーニングされたモデルよりも優れています。

要約(オリジナル)

Medical imaging is a cornerstone of therapy and diagnosis in modern medicine. However, the choice of imaging modality for a particular theranostic task typically involves trade-offs between the feasibility of using a particular modality (e.g., short wait times, low cost, fast acquisition, reduced radiation/invasiveness) and the expected performance on a clinical task (e.g., diagnostic accuracy, efficacy of treatment planning and guidance). In this work, we aim to apply the knowledge learned from the less feasible but better-performing (superior) modality to guide the utilization of the more-feasible yet under-performing (inferior) modality and steer it towards improved performance. We focus on the application of deep learning for image-based diagnosis. We develop a light-weight guidance model that leverages the latent representation learned from the superior modality, when training a model that consumes only the inferior modality. We examine the advantages of our method in the context of two clinical applications: multi-task skin lesion classification from clinical and dermoscopic images and brain tumor classification from multi-sequence magnetic resonance imaging (MRI) and histopathology images. For both these scenarios we show a boost in diagnostic performance of the inferior modality without requiring the superior modality. Furthermore, in the case of brain tumor classification, our method outperforms the model trained on the superior modality while producing comparable results to the model that uses both modalities during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google