MARIA: a Multimodal Transformer Model for Incomplete Healthcare Data

要約

ヘルスケアでは、マルチモーダルデータの統合は、包括的な診断モデルと予測モデルを開発するために極めて重要です。
ただし、欠損データの管理は、実際のアプリケーションでは依然として重要な課題です。
中間融合戦略を通じてこれらの課題に対処するために設計された新しい変圧器ベースのディープ学習モデルであるマリア（不完全データに回復力があるマルチモーダル注意）を紹介します。
帰属に依存する従来のアプローチとは異なり、マリアは合成値を生成せずに利用可能なデータのみを処理するマスクされた自己関節メカニズムを利用します。
このアプローチにより、不完全なデータセットを効果的に処理し、堅牢性を高め、代入法によって導入されたバイアスを最小限に抑えることができます。
8つの診断および予後タスクにわたる10の最先端の機械学習およびディープラーニングモデルに対してマリアを評価しました。
結果は、マリアがさまざまなレベルのデータ不完全性に対するパフォーマンスと回復力の観点から既存の方法を上回ることを示しており、重要なヘルスケアアプリケーションの可能性を強調しています。

要約(オリジナル)

In healthcare, the integration of multimodal data is pivotal for developing comprehensive diagnostic and predictive models. However, managing missing data remains a significant challenge in real-world applications. We introduce MARIA (Multimodal Attention Resilient to Incomplete datA), a novel transformer-based deep learning model designed to address these challenges through an intermediate fusion strategy. Unlike conventional approaches that depend on imputation, MARIA utilizes a masked self-attention mechanism, which processes only the available data without generating synthetic values. This approach enables it to effectively handle incomplete datasets, enhancing robustness and minimizing biases introduced by imputation methods. We evaluated MARIA against 10 state-of-the-art machine learning and deep learning models across 8 diagnostic and prognostic tasks. The results demonstrate that MARIA outperforms existing methods in terms of performance and resilience to varying levels of data incompleteness, underscoring its potential for critical healthcare applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google