MMANet: Margin-aware Distillation and Modality-aware Regularization for Incomplete Multimodal Learning

要約

タイトル：MMANet：不完全なマルチモーダル学習のためのマージン・アウェアな蒸留とモダリティ・アウェアな正則化

要約：

– マルチモーダル学習は、多くのシーンで大きな可能性を示し、最近ますます関心が高まっています。
– しかし、しばしばモダリティのデータの欠落の問題に直面し、実践で深刻な性能劣化を引き起こします。
– このため、不完全なマルチモーダル学習を支援するための汎用フレームワークであるMMANetを提案します。
– MMANetは、推論に使用されるデプロイメントネットワーク、包括的なマルチモーダル情報をデプロイメントネットワークに伝達する講師ネットワーク、そしてデプロイメントネットワークが弱いモダリティ組合せをバランス良く調整するための正則化ネットワークの3つの要素で構成されています。
– 具体的には、マージン・アウェアな蒸留（MAD）を提案し、分類の不確かさでサンプルの寄与度を重み付けることで情報伝達を支援します。これにより、デプロイメントネットワークが決定境界付近のサンプルに焦点を当て、改良されたクラス間余白を取得するよう促します。
– さらに、モダリティ・アウェアな正則化（MAR）アルゴリズムを設計し、弱いモダリティ組合せをマイニングして正則化ネットワークを誘導し、それらのための予測損失を計算します。これにより、デプロイメントネットワークが弱いモダリティ組合せの表現能力を適応的に改善するよう強制します。
– 最後に、マルチモーダル分類およびセグメンテーションタスクの広範な実験により、MMANetが従来法を大幅に上回ったことが示されました。コードは以下のURLから利用可能です：https://github.com/shicaiwei123/MMANet

要約(オリジナル)

Multimodal learning has shown great potentials in numerous scenes and attracts increasing interest recently. However, it often encounters the problem of missing modality data and thus suffers severe performance degradation in practice. To this end, we propose a general framework called MMANet to assist incomplete multimodal learning. It consists of three components: the deployment network used for inference, the teacher network transferring comprehensive multimodal information to the deployment network, and the regularization network guiding the deployment network to balance weak modality combinations. Specifically, we propose a novel margin-aware distillation (MAD) to assist the information transfer by weighing the sample contribution with the classification uncertainty. This encourages the deployment network to focus on the samples near decision boundaries and acquire the refined inter-class margin. Besides, we design a modality-aware regularization (MAR) algorithm to mine the weak modality combinations and guide the regularization network to calculate prediction loss for them. This forces the deployment network to improve its representation ability for the weak modality combinations adaptively. Finally, extensive experiments on multimodal classification and segmentation tasks demonstrate that our MMANet outperforms the state-of-the-art significantly. Code is available at: https://github.com/shicaiwei123/MMANet

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI