Automated Ensemble Multimodal Machine Learning for Healthcare

要約

医学やヘルスケアにおける機械学習の応用により、多数の診断モデルや予後モデルが作成されてきました。
ただし、その成功にもかかわらず、現在のアプローチは一般に、単一のモダリティからのデータを使用して予測を発行します。
これは、複数の情報源からの多様な情報を利用する臨床医の意思決定とはまったく対照的です。
いくつかのマルチモーダル機械学習アプローチが存在しますが、マルチモーダル システムの開発には依然として重大な課題があり、臨床導入の妨げとなっています。
この論文では、自動機械学習を使用して構造化された臨床 (表) データと医療画像の統合を可能にするマルチモーダル フレームワーク AutoPrognosis-M を紹介します。
AutoPrognosis-M には、畳み込みニューラル ネットワークやビジョン トランスフォーマーを含む 17 のイメージング モデルと、3 つの異なるマルチモーダル フュージョン戦略が組み込まれています。
マルチモーダル皮膚病変データセットを使用したアプリケーション例では、マルチモーダル機械学習の重要性と、アンサンブル学習を使用して複数の融合戦略を組み合わせる能力を強調します。
私たちはコミュニティ向けのツールとしてフレームワークをオープンソース化しており、これが医療におけるマルチモーダル機械学習の導入を加速し、さらなるイノベーションを促進することを期待しています。

要約(オリジナル)

The application of machine learning in medicine and healthcare has led to the creation of numerous diagnostic and prognostic models. However, despite their success, current approaches generally issue predictions using data from a single modality. This stands in stark contrast with clinician decision-making which employs diverse information from multiple sources. While several multimodal machine learning approaches exist, significant challenges in developing multimodal systems remain that are hindering clinical adoption. In this paper, we introduce a multimodal framework, AutoPrognosis-M, that enables the integration of structured clinical (tabular) data and medical imaging using automated machine learning. AutoPrognosis-M incorporates 17 imaging models, including convolutional neural networks and vision transformers, and three distinct multimodal fusion strategies. In an illustrative application using a multimodal skin lesion dataset, we highlight the importance of multimodal machine learning and the power of combining multiple fusion strategies using ensemble learning. We have open-sourced our framework as a tool for the community and hope it will accelerate the uptake of multimodal machine learning in healthcare and spur further innovation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google