Hierarchical Banzhaf Interaction for General Video-Language Representation Learning

要約

対比学習を伴うマルチモーダル表現学習は、人工知能の領域で重要な役割を果たします。
重要なサブフィールドとして、ビデオ言語表現学習は、事前定義されたビデオとテキストのペア間のグローバルな意味論的相互作用を使用した表現の学習に焦点を当てています。
ただし、このような粗粒度のグローバルなインタラクションを強化および洗練するには、より詳細なインタラクションが細粒度のマルチモーダル学習に必要です。
この研究では、多変量協力ゲーム理論を使用してビデオテキストをゲームプレイヤーとしてモデル化し、多様な粒度、柔軟な組み合わせ、およびあいまいな強度を備えたきめの細かい意味論的相互作用中の不確実性を処理する新しいアプローチを紹介します。
具体的には、階層的な観点からビデオ クリップとテキストの単語の間のきめ細かい対応をシミュレートする階層的 Banzhaf インタラクションを設計します。
さらに、Banzhaf Interaction 内の計算におけるバイアスを軽減するために、シングルモーダル コンポーネントとクロスモーダル コンポーネントの融合を通じて表現を再構築することを提案します。
この再構成された表現は、単一モーダル表現に匹敵する細かい粒度を保証すると同時に、クロスモーダル表現の適応エンコード特性も維持します。
さらに、元の構造を柔軟なエンコーダ/デコーダ フレームワークに拡張し、モデルがさまざまな下流タスクに適応できるようにします。
一般的に使用されるテキストビデオ検索、ビデオ質問応答、およびビデオキャプションベンチマークに関する広範な実験により、優れたパフォーマンスが得られ、私たちの方法の有効性と一般化が検証されました。

要約(オリジナル)

Multimodal representation learning, with contrastive learning, plays an important role in the artificial intelligence domain. As an important subfield, video-language representation learning focuses on learning representations using global semantic interactions between pre-defined video-text pairs. However, to enhance and refine such coarse-grained global interactions, more detailed interactions are necessary for fine-grained multimodal learning. In this study, we introduce a new approach that models video-text as game players using multivariate cooperative game theory to handle uncertainty during fine-grained semantic interactions with diverse granularity, flexible combination, and vague intensity. Specifically, we design the Hierarchical Banzhaf Interaction to simulate the fine-grained correspondence between video clips and textual words from hierarchical perspectives. Furthermore, to mitigate the bias in calculations within Banzhaf Interaction, we propose reconstructing the representation through a fusion of single-modal and cross-modal components. This reconstructed representation ensures fine granularity comparable to that of the single-modal representation, while also preserving the adaptive encoding characteristics of cross-modal representation. Additionally, we extend our original structure into a flexible encoder-decoder framework, enabling the model to adapt to various downstream tasks. Extensive experiments on commonly used text-video retrieval, video-question answering, and video captioning benchmarks, with superior performance, validate the effectiveness and generalization of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google