Multimodal Federated Learning With Missing Modalities through Feature Imputation Network

要約

マルチモーダルフェデレーションラーニングは、生データを共有せずに複数のソースからコラボレーションモデルを協力してトレーニングモデルの大きな可能性を保持し、データ不足とプライバシーの懸念の両方に対処します。これは、ヘルスケアにおける2つの重要な課題です。
ヘルスケアにおけるマルチモーダルフェデレーションモデルのトレーニングにおける主要な課題は、臨床診療のばらつき、コストとアクセシビリティの制約、遡及的データ収集、プライバシーの懸念、技術的または人間的エラーなど、複数の理由によるモダリティの欠落の存在です。
以前の方法は通常、公開されている実際のデータセットまたは合成データに依存して、欠落したモダリティを補正します。
ただし、すべての疾患の実際のデータセットを取得することは非現実的であり、不足しているモダリティを合成するための生成モデルをトレーニングすることは計算高価であり、医療データの高次元によりエラーが発生しやすくなります。
この論文では、欠落しているモダリティのボトルネックの特徴を再構築するために、小説的で軽量の低次元機能翻訳者を提案します。
3つの異なるデータセット（MIMIC-CXR、NIH Open-I、Chexpert）での実験は、均一な設定と不均一な設定の両方で、競合ベースラインのパフォーマンスを一貫して改善します。
コードと実装の詳細は、https：//github.com/bhattarailab/fedfeatgenで入手できます

要約(オリジナル)

Multimodal federated learning holds immense potential for collaboratively training models from multiple sources without sharing raw data, addressing both data scarcity and privacy concerns, two key challenges in healthcare. A major challenge in training multimodal federated models in healthcare is the presence of missing modalities due to multiple reasons, including variations in clinical practice, cost and accessibility constraints, retrospective data collection, privacy concerns, and occasional technical or human errors. Previous methods typically rely on publicly available real datasets or synthetic data to compensate for missing modalities. However, obtaining real datasets for every disease is impractical, and training generative models to synthesize missing modalities is computationally expensive and prone to errors due to the high dimensionality of medical data. In this paper, we propose a novel, lightweight, low-dimensional feature translator to reconstruct bottleneck features of the missing modalities. Our experiments on three different datasets (MIMIC-CXR, NIH Open-I, and CheXpert), in both homogeneous and heterogeneous settings consistently improve the performance of competitive baselines. The code and implementation details are available at: https://github.com/bhattarailab/FedFeatGen

arxiv情報

提供元, 利用サービス

arxiv.jp, Google