CMAL: A Novel Cross-Modal Associative Learning Framework for Vision-Language Pre-Training

要約

ソーシャルメディアプラットフォームの隆盛に伴い、ビジョン言語事前トレーニング（VLP）は最近大きな注目を集めており、多くの目覚ましい進歩が達成されています。
VLP の成功は、異なるモダリティ間の情報の補完と強化から大きく恩恵を受けます。
しかし、最近の研究のほとんどは、ポジティブサンプルペアの埋め込みを一緒に引き寄せる一方、ネガティブサンプルペアの埋め込みを遠ざけることで画像とテキストの位置合わせを促進するクロスモーダル対比学習（CMCL）に焦点を当てています。これは、異なるモダリティ間の自然な非対称特性を無視しており、大規模な処理を必要とします。
– 画像とテキストのコーパスをスケールして、困難な進歩を達成します。
この苦境を軽減するために、アンカー ポイント検出と VLP のクロスモーダル連想学習を備えたクロスモーダル連想学習フレームワークである CMAL を提案します。
具体的には、まずビジュアルオブジェクトとテキストトークンを別々の超球空間にそれぞれ埋め込んでモーダル内の隠れた特徴を学習し、次にクロスモーダル連想プロンプトレイヤーを設計してアンカーポイントマスキングとスワップフィーチャー充填を実行してハイブリッドクロスモーダル連想を構築します。
プロンプト。
その後、統合セマンティック エンコーダーを活用して、コンテキスト適応のためのクロスモーダル インタラクティブ機能を学習します。
最後に、アンカーポイントでのモダリティ間の潜在的な連想マッピングを学習するための連想マッピング分類層を設計します。その中で、CMAL のパフォーマンスを向上させるための新しい自己教師あり連想マッピング分類タスクを開発します。
実験結果では CMAL の有効性が検証され、大幅に少ないコーパスで 4 つの一般的な下流の視覚および言語タスクに関して以前の CMCL ベースの手法と比較して競合するパフォーマンスを達成できることが示されています。
特に、CMAL は SNLI-VE と REC (testA) に関して新しい最先端の結果を取得しています。

要約(オリジナル)

With the flourishing of social media platforms, vision-language pre-training (VLP) recently has received great attention and many remarkable progresses have been achieved. The success of VLP largely benefits from the information complementation and enhancement between different modalities. However, most of recent studies focus on cross-modal contrastive learning (CMCL) to promote image-text alignment by pulling embeddings of positive sample pairs together while pushing those of negative pairs apart, which ignores the natural asymmetry property between different modalities and requires large-scale image-text corpus to achieve arduous progress. To mitigate this predicament, we propose CMAL, a Cross-Modal Associative Learning framework with anchor points detection and cross-modal associative learning for VLP. Specifically, we first respectively embed visual objects and textual tokens into separate hypersphere spaces to learn intra-modal hidden features, and then design a cross-modal associative prompt layer to perform anchor point masking and swap feature filling for constructing a hybrid cross-modal associative prompt. Afterwards, we exploit a unified semantic encoder to learn their cross-modal interactive features for context adaptation. Finally, we design an associative mapping classification layer to learn potential associative mappings between modalities at anchor points, within which we develop a fresh self-supervised associative mapping classification task to boost CMAL’s performance. Experimental results verify the effectiveness of CMAL, showing that it achieves competitive performance against previous CMCL-based methods on four common downstream vision-and-language tasks, with significantly fewer corpus. Especially, CMAL obtains new state-of-the-art results on SNLI-VE and REC (testA).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google