What to align in multimodal contrastive learning?

要約

人間は多感覚統合を通じて世界を認識し、さまざまなモダリティの情報を混ぜ合わせて行動を適応させます。
対照学習は、マルチモーダルの自己監視学習のための魅力的なソリューションを提供します。
実際、各モダリティを同じエンティティの異なるビューと見なすことにより、共有表現スペースの異なるモダリティの特徴を調整することを学びます。
ただし、このアプローチは、モダリティ間で共有または冗長な情報のみを学習するため、本質的に制限されていますが、マルチモーダルの相互作用は他の方法で発生する可能性があります。
この作業では、単一のマルチモーダル空間でのモダリティ間の通信を可能にする対照的なマルチモーダル学習戦略であるCommを紹介します。
これらのマルチモーダル機能の拡張バージョン間で相互情報を最大化することにより、横断または内部の制約を課す代わりに、マルチモーダル表現を整合することを提案します。
私たちの理論的分析は、この定式化から自然に相乗的で独自の情報の共有と独自の用語が発生し、冗長性を超えたマルチモーダルの相互作用を推定できることを示しています。
制御されたものと一連の現実世界の設定の両方で通信​​をテストします。前者では、Commがモダリティ間で冗長でユニークで相乗的な情報を効果的にキャプチャすることを実証します。
後者では、Commは複雑なマルチモーダル相互作用を学習し、7つのマルチモーダルベンチマークで最新の結果を達成します。
コードはhttps://github.com/duplums/commで入手できます

要約(オリジナル)

Humans perceive the world through multisensory integration, blending the information of different modalities to adapt their behavior. Contrastive learning offers an appealing solution for multimodal self-supervised learning. Indeed, by considering each modality as a different view of the same entity, it learns to align features of different modalities in a shared representation space. However, this approach is intrinsically limited as it only learns shared or redundant information between modalities, while multimodal interactions can arise in other ways. In this work, we introduce CoMM, a Contrastive MultiModal learning strategy that enables the communication between modalities in a single multimodal space. Instead of imposing cross- or intra- modality constraints, we propose to align multimodal representations by maximizing the mutual information between augmented versions of these multimodal features. Our theoretical analysis shows that shared, synergistic and unique terms of information naturally emerge from this formulation, allowing us to estimate multimodal interactions beyond redundancy. We test CoMM both in a controlled and in a series of real-world settings: in the former, we demonstrate that CoMM effectively captures redundant, unique and synergistic information between modalities. In the latter, CoMM learns complex multimodal interactions and achieves state-of-the-art results on the seven multimodal benchmarks. Code is available at https://github.com/Duplums/CoMM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google