CAR-MFL: Cross-Modal Augmentation by Retrieval for Multimodal Federated Learning with Missing Modalities

要約

マルチモーダル AI は、より包括的な分析のために多様なデータ ソースを活用することで、ユニモーダル アプローチよりも優れたパフォーマンスを実証しました。
ただし、利用できる公開データセットが限られているため、この有効性を医療に適用することは困難です。
フェデレーテッド ラーニングは、機密データを一元管理することなく、病院や保健センターの広範なデータベースを使用できるようにするエキサイティングなソリューションを提供し、プライバシーとセキュリティを維持します。
しかし、マルチモーダル連合学習の研究、特に医療データセットに共通する問題であるモダリティが欠落しているシナリオにおける研究は依然として不足しており、将来の探索にとって重要な領域であることが浮き彫りになっています。
これに向けて、モダリティが欠如しているマルチモーダル連合学習のための新しい方法を提案します。
私たちの貢献は、クライアントに欠けているモダリティを埋めるために公的に利用可能な小規模なデータセットを活用する、検索による新しいクロスモーダル データの拡張にあります。
私たちの手法は連携してパラメータを学習し、プライバシー保護を確保し、医療分野の複数の困難なマルチモーダルベンチマークでパフォーマンスを向上させ、いくつかの競合ベースラインを上回ります。
利用可能なコード: https://github.com/bhattarailab/CAR-MFL

要約(オリジナル)

Multimodal AI has demonstrated superior performance over unimodal approaches by leveraging diverse data sources for more comprehensive analysis. However, applying this effectiveness in healthcare is challenging due to the limited availability of public datasets. Federated learning presents an exciting solution, allowing the use of extensive databases from hospitals and health centers without centralizing sensitive data, thus maintaining privacy and security. Yet, research in multimodal federated learning, particularly in scenarios with missing modalities a common issue in healthcare datasets remains scarce, highlighting a critical area for future exploration. Toward this, we propose a novel method for multimodal federated learning with missing modalities. Our contribution lies in a novel cross-modal data augmentation by retrieval, leveraging the small publicly available dataset to fill the missing modalities in the clients. Our method learns the parameters in a federated manner, ensuring privacy protection and improving performance in multiple challenging multimodal benchmarks in the medical domain, surpassing several competitive baselines. Code Available: https://github.com/bhattarailab/CAR-MFL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google