What to align in multimodal contrastive learning?

要約

人間は多感覚の統合を通じて世界を認識し、さまざまなモダリティの情報をブレンドして行動を適応させます。
対照学習は、マルチモーダルな自己教師あり学習に魅力的なソリューションを提供します。
実際、各モダリティを同じエンティティの異なるビューとして考慮することで、異なるモダリティの特徴を共有表現空間に配置することを学習します。
ただし、このアプローチはモダリティ間で共有または冗長な情報のみを学習するだけであり、マルチモーダルな相互作用は他の方法で発生する可能性があるため、本質的に制限されています。
この研究では、単一のマルチモーダル空間でモダリティ間のコミュニケーションを可能にする対照的マルチモーダル学習戦略である CoMM を紹介します。
クロスモダリティまたはモダリティ内制約を課す代わりに、これらのマルチモーダル機能の拡張バージョン間の相互情報を最大化することによってマルチモーダル表現を調整することを提案します。
私たちの理論分析では、この定式化から共有され、相乗的で固有の情報項が自然に出現し、冗長性を超えて多峰性の相互作用を推定できることが示されました。
私たちは、制御された現実世界の設定と一連の現実世界の設定の両方で CoMM をテストします。前者では、CoMM がモダリティ間の冗長で固有の相乗効果のある情報を効果的に取得することを実証します。
後者では、CoMM は複雑なマルチモーダル インタラクションを学習し、6 つのマルチモーダル ベンチマークで最先端の結果を達成します。

要約(オリジナル)

Humans perceive the world through multisensory integration, blending the information of different modalities to adapt their behavior. Contrastive learning offers an appealing solution for multimodal self-supervised learning. Indeed, by considering each modality as a different view of the same entity, it learns to align features of different modalities in a shared representation space. However, this approach is intrinsically limited as it only learns shared or redundant information between modalities, while multimodal interactions can arise in other ways. In this work, we introduce CoMM, a Contrastive MultiModal learning strategy that enables the communication between modalities in a single multimodal space. Instead of imposing cross- or intra- modality constraints, we propose to align multimodal representations by maximizing the mutual information between augmented versions of these multimodal features. Our theoretical analysis shows that shared, synergistic and unique terms of information naturally emerge from this formulation, allowing us to estimate multimodal interactions beyond redundancy. We test CoMM both in a controlled and in a series of real-world settings: in the former, we demonstrate that CoMM effectively captures redundant, unique and synergistic information between modalities. In the latter, CoMM learns complex multimodal interactions and achieves state-of-the-art results on the six multimodal benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google