DF-DM: A foundational process model for multimodal data fusion in the artificial intelligence era

要約

ビッグデータ時代において、多様なデータモダリティの統合は、特にヘルスケアなどの複雑な分野で重大な課題を引き起こします。
このペーパーでは、データ マイニングのためのマルチモーダル データ フュージョンの新しいプロセス モデルを紹介し、埋め込みとデータ マイニングのための業界横断標準プロセスを既存のデータ フュージョン情報グループ モデルと統合します。
私たちのモデルは、効率と信頼性を向上させながら、計算コスト、複雑さ、バイアスを削減することを目的としています。
我々はまた、相互情報を最適化し、モダリティ間の高密度な特徴相互作用を促進し、それによって冗長な情報を最小限に抑えるように設計された新しい埋め込み融合法である「解繊密融合」を提案する。
私たちは、網膜画像と患者のメタデータを使用した糖尿病性網膜症の予測、衛星画像、インターネット、国勢調査データを使用した家庭内暴力の予測、X線撮影画像と臨床記録からの臨床的および人口統計的特徴の特定という3つのユースケースを通じてモデルの有効性を実証します。
このモデルは、糖尿病性網膜症の予測でマクロ F1 スコア 0.92、家庭内暴力の予測で R 二乗 0.854 と sMAPE 24.868、放射線学的分析で病気の予測と性別分類でそれぞれマクロ AUC 0.92 と 0.99 を達成しました。
これらの結果は、Data Fusion for Data Mining モデルがマルチモーダル データ処理に大きな影響を与え、リソースに制約のある多様な環境での導入を促進する可能性があることを強調しています。

要約(オリジナル)

In the big data era, integrating diverse data modalities poses significant challenges, particularly in complex fields like healthcare. This paper introduces a new process model for multimodal Data Fusion for Data Mining, integrating embeddings and the Cross-Industry Standard Process for Data Mining with the existing Data Fusion Information Group model. Our model aims to decrease computational costs, complexity, and bias while improving efficiency and reliability. We also propose ‘disentangled dense fusion’, a novel embedding fusion method designed to optimize mutual information and facilitate dense inter-modality feature interaction, thereby minimizing redundant information. We demonstrate the model’s efficacy through three use cases: predicting diabetic retinopathy using retinal images and patient metadata, domestic violence prediction employing satellite imagery, internet, and census data, and identifying clinical and demographic features from radiography images and clinical notes. The model achieved a Macro F1 score of 0.92 in diabetic retinopathy prediction, an R-squared of 0.854 and sMAPE of 24.868 in domestic violence prediction, and a macro AUC of 0.92 and 0.99 for disease prediction and sex classification, respectively, in radiological analysis. These results underscore the Data Fusion for Data Mining model’s potential to significantly impact multimodal data processing, promoting its adoption in diverse, resource-constrained settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google