Towards Robust Multimodal Representation: A Unified Approach with Adaptive Experts and Alignment

要約

ヘルスケアは、診断と治療を改善するために、医療画像、遺伝情報、臨床記録など、複数のタイプのデータに依存しています。
ただし、データの欠落は、プライバシーの制限、コスト、および技術的な問題のために一般的な課題であり、多くの既存のマルチモーダルモデルを信頼できないものにします。
これに対処するために、高精度を維持しながら不完全なマルチモーダルデータを処理する深い学習フレームワークである、専門家、対称的整列、および再構築（Mosare）の混合物と呼ばれる新しいマルチモデルモデルを提案します。
Mosareは、特徴の表現と意思決定を改善するために、専門家の選択、モーダルの注意、対照的な学習を統合します。
私たちの結果は、データが完了した状況で、Mosareが既存のモデルよりも優れていることを示しています。
さらに、一部のデータが欠落している場合でも、信頼できる予測を提供します。
これにより、リソース制限環境を含む実際のヘルスケアの設定で特に役立ちます。
私たちのコードは、https://github.com/nazaninmn/mosareで公開されています。

要約(オリジナル)

Healthcare relies on multiple types of data, such as medical images, genetic information, and clinical records, to improve diagnosis and treatment. However, missing data is a common challenge due to privacy restrictions, cost, and technical issues, making many existing multi-modal models unreliable. To address this, we propose a new multi-model model called Mixture of Experts, Symmetric Aligning, and Reconstruction (MoSARe), a deep learning framework that handles incomplete multimodal data while maintaining high accuracy. MoSARe integrates expert selection, cross-modal attention, and contrastive learning to improve feature representation and decision-making. Our results show that MoSARe outperforms existing models in situations when the data is complete. Furthermore, it provides reliable predictions even when some data are missing. This makes it especially useful in real-world healthcare settings, including resource-limited environments. Our code is publicly available at https://github.com/NazaninMn/MoSARe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google