Review of multimodal machine learning approaches in healthcare

要約

医療における機械学習手法は従来、単一のモダリティからのデータを使用することに焦点を当てており、意思決定を改善するために複数の情報ソースを統合するという臨床実践を効果的に再現する能力に限界がありました。
臨床医は通常、患者の人口統計情報、検査データ、バイタルサイン、さまざまな画像データモダリティを含むさまざまなデータソースを利用して、情報に基づいた意思決定を行い、結果を状況に応じて解釈します。
最近の機械学習の進歩により、マルチモーダル データのより効率的な組み込みが容易になり、その結果、臨床医のアプローチをより適切に表すアプリケーションが実現しました。
ここでは、ヘルスケアにおけるマルチモーダル機械学習アプローチのレビューを提供し、最近の文献の包括的な概要を提供します。
臨床診断で使用されるさまざまなデータモダリティについて、特に画像データに重点​​を置いて説明します。
私たちは融合技術を評価し、既存のマルチモーダル データセットを探索し、一般的なトレーニング戦略を検討します。

要約(オリジナル)

Machine learning methods in healthcare have traditionally focused on using data from a single modality, limiting their ability to effectively replicate the clinical practice of integrating multiple sources of information for improved decision making. Clinicians typically rely on a variety of data sources including patients’ demographic information, laboratory data, vital signs and various imaging data modalities to make informed decisions and contextualise their findings. Recent advances in machine learning have facilitated the more efficient incorporation of multimodal data, resulting in applications that better represent the clinician’s approach. Here, we provide a review of multimodal machine learning approaches in healthcare, offering a comprehensive overview of recent literature. We discuss the various data modalities used in clinical diagnosis, with a particular emphasis on imaging data. We evaluate fusion techniques, explore existing multimodal datasets and examine common training strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google