Robust Multimodal Learning via Representation Decoupling

要約

欠落モダリティに頑健なマルチモーダル学習は、その実用性の高さから注目されている。既存の手法は、異なるモダリティの組み合わせに対して共通の部分空間表現を学習することで対処する傾向がある。しかし、クラス内表現に対する暗黙の制約により、それらは最適ではないことが明らかになった。具体的には、同じクラス内の異なるモダリティを持つサンプルは、同じ方向の表現を学習せざるを得ない。これはモデルがモダリティ固有の情報を捉えることを妨げ、結果として学習が不十分となる。このため我々は、頑健なマルチモーダル学習を支援するために、新しい分離マルチモーダル表現ネットワーク（DMRNet）を提案する。具体的には、DMRNetは異なるモダリティの組み合わせからの入力を、潜在空間における固定点ではなく確率的分布としてモデル化し、予測モジュールのためにその分布から埋め込みをサンプリングしてタスク損失を計算する。その結果、損失最小化からの方向制約は、サンプリングされた表現によってブロックされる。これにより、推論表現に対する制約が緩和され、異なるモダリティの組み合わせに特有の情報をモデルが捉えることが可能となる。さらに、硬いモダリティの組み合わせに注意を払うように誘導することで、DMRNetの偏った学習を防ぐために、硬い組み合わせの正則化を導入する。最後に、マルチモダルの分類とセグメンテーションタスクに関する広範な実験により、提案するDMRNetが、最先端技術を大幅に上回ることを実証する。

要約(オリジナル)

Multimodal learning robust to missing modality has attracted increasing attention due to its practicality. Existing methods tend to address it by learning a common subspace representation for different modality combinations. However, we reveal that they are sub-optimal due to their implicit constraint on intra-class representation. Specifically, the sample with different modalities within the same class will be forced to learn representations in the same direction. This hinders the model from capturing modality-specific information, resulting in insufficient learning. To this end, we propose a novel Decoupled Multimodal Representation Network (DMRNet) to assist robust multimodal learning. Specifically, DMRNet models the input from different modality combinations as a probabilistic distribution instead of a fixed point in the latent space, and samples embeddings from the distribution for the prediction module to calculate the task loss. As a result, the direction constraint from the loss minimization is blocked by the sampled representation. This relaxes the constraint on the inference representation and enables the model to capture the specific information for different modality combinations. Furthermore, we introduce a hard combination regularizer to prevent DMRNet from unbalanced training by guiding it to pay more attention to hard modality combinations. Finally, extensive experiments on multimodal classification and segmentation tasks demonstrate that the proposed DMRNet outperforms the state-of-the-art significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL