Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models

要約

マルチモーダル対比表現学習方法は、複雑な現象の意味のある共有表現を生成できるため、さまざまな分野で成功していることが証明されています。
これらの取得された表現の分析と理解をさらに深めるために、マルチモーダル データ用に特別に設計された統一因果モデルを導入します。
このモデルを調べることで、マルチモーダル対比表現学習は、異なる仮定から生じる線形変換や順列変換に至るまで、提案された統合モデル内の潜在的な結合変数の特定に優れていることがわかります。
私たちの発見は、線形独立成分分析という驚くほどシンプルでありながら非常に効果的なツールを通じて、もつれ解除された表現を学習する際の、事前トレーニング済みマルチモーダル モデル (CLIP など) の可能性を明らかにしています。
実験は、仮定が違反された場合でも発見の堅牢性を実証し、もつれ解除された表現の学習における提案された方法の有効性を検証します。

要約(オリジナル)

Multimodal contrastive representation learning methods have proven successful across a range of domains, partly due to their ability to generate meaningful shared representations of complex phenomena. To enhance the depth of analysis and understanding of these acquired representations, we introduce a unified causal model specifically designed for multimodal data. By examining this model, we show that multimodal contrastive representation learning excels at identifying latent coupled variables within the proposed unified model, up to linear or permutation transformations resulting from different assumptions. Our findings illuminate the potential of pre-trained multimodal models, eg, CLIP, in learning disentangled representations through a surprisingly simple yet highly effective tool: linear independent component analysis. Experiments demonstrate the robustness of our findings, even when the assumptions are violated, and validate the effectiveness of the proposed method in learning disentangled representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google