Gradient-Guided Modality Decoupling for Missing-Modality Robustness

要約

不完全な入力データ (モダリティの欠落) を使用したマルチモーダル学習は実用的であり、困難です。
この研究では、この課題について詳細な分析を実施し、モダリティの優位性がモデルのトレーニングに重大な悪影響を及ぼし、不足しているモダリティのパフォーマンスを大幅に低下させることを発見しました。
Grad-CAM を動機として、モダリティ欠落シナリオに広く存在するモダリティの優位性を監視し、軽減するための新しい指標である勾配を導入します。
この指標を支援するために、支配的なモダリティへの依存を切り離すための新しい勾配誘導モダリティ デカップリング (GMD) 方法を紹介します。
具体的には、GMD はさまざまなモダリティから競合する勾配コンポーネントを削除してこの分離を実現し、パフォーマンスを大幅に向上させます。
さらに、モーダル不完全データを柔軟に処理するために、1 つのモダリティが利用可能かどうかに基づいてネットワーク パラメーターのオン/オフを適応的に切り替えることができる、パラメーター効率の高い動的共有 (DS) フレームワークを設計します。
私たちは、医療セグメンテーション用の BraTS 2018、感情分析用の CMU-MOSI、CMU-MOSEI を含む 3 つの一般的なマルチモーダル ベンチマークで広範な実験を行っています。
結果は、私たちの方法が競合他社よりも大幅に優れていることを示し、提案されたソリューションの有効性を示しています。
私たちのコードはここでリリースされています: https://github.com/HaoWang420/Gradient-guided-Modality-Decoupling。

要約(オリジナル)

Multimodal learning with incomplete input data (missing modality) is practical and challenging. In this work, we conduct an in-depth analysis of this challenge and find that modality dominance has a significant negative impact on the model training, greatly degrading the missing modality performance. Motivated by Grad-CAM, we introduce a novel indicator, gradients, to monitor and reduce modality dominance which widely exists in the missing-modality scenario. In aid of this indicator, we present a novel Gradient-guided Modality Decoupling (GMD) method to decouple the dependency on dominating modalities. Specifically, GMD removes the conflicted gradient components from different modalities to achieve this decoupling, significantly improving the performance. In addition, to flexibly handle modal-incomplete data, we design a parameter-efficient Dynamic Sharing (DS) framework which can adaptively switch on/off the network parameters based on whether one modality is available. We conduct extensive experiments on three popular multimodal benchmarks, including BraTS 2018 for medical segmentation, CMU-MOSI, and CMU-MOSEI for sentiment analysis. The results show that our method can significantly outperform the competitors, showing the effectiveness of the proposed solutions. Our code is released here: https://github.com/HaoWang420/Gradient-guided-Modality-Decoupling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google