Meta-Learned Modality-Weighted Knowledge Distillation for Robust Multi-Modal Learning with Missing Data

要約

マルチモーダル学習では、一部のモダリティが他のモダリティよりも影響力があり、それらが存在しないと分類/セグメンテーションの精度に大きな影響を与える可能性があります。
この課題に対処するために、私たちはメタ学習モダリティ加重知識蒸留 (MetaKD) と呼ばれる新しいアプローチを提案します。これにより、主要なモダリティが欠落している場合でもマルチモーダル モデルが高い精度を維持できるようになります。
MetaKD は、メタ学習プロセスを通じて各モダリティの重要度の重みを適応的に推定します。
これらの学習された重要度の重みは、ペアごとのモダリティで重み付けされた知識蒸留プロセスをガイドし、重要性の高いモダリティが重要性の低いモダリティに知識を転送できるようにし、入力が欠落しているにもかかわらず堅牢なパフォーマンスをもたらします。
多くの場合タスク固有で大幅な変更が必要となる、この分野での以前の方法とは異なり、私たちのアプローチは、最小限の適応で複数のタスク (セグメンテーションや分類など) で機能するように設計されています。
3 つの脳腫瘍セグメンテーション データセット (BraTS2018、BraTS2019、および BraTS2020)、アルツハイマー病神経画像イニシアチブ (ADNI) 分類データセット、および Audiovision-MNIST 分類データセットを含む 5 つの一般的なデータセットに関する実験結果は、提案されたモデルが比較されたモデルを上回ることができることを実証しています。
大差で。

要約(オリジナル)

In multi-modal learning, some modalities are more influential than others, and their absence can have a significant impact on classification/segmentation accuracy. Addressing this challenge, we propose a novel approach called Meta-learned Modality-weighted Knowledge Distillation (MetaKD), which enables multi-modal models to maintain high accuracy even when key modalities are missing. MetaKD adaptively estimates the importance weight of each modality through a meta-learning process. These learned importance weights guide a pairwise modality-weighted knowledge distillation process, allowing high-importance modalities to transfer knowledge to lower-importance ones, resulting in robust performance despite missing inputs. Unlike previous methods in the field, which are often task-specific and require significant modifications, our approach is designed to work in multiple tasks (e.g., segmentation and classification) with minimal adaptation. Experimental results on five prevalent datasets, including three Brain Tumor Segmentation datasets (BraTS2018, BraTS2019 and BraTS2020), the Alzheimer’s Disease Neuroimaging Initiative (ADNI) classification dataset and the Audiovision-MNIST classification dataset, demonstrate the proposed model is able to outperform the compared models by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google