CAVL: Learning Contrastive and Adaptive Representations of Vision and Language

要約

【タイトル】CAVL: Vision and Languageの対比的かつ適応的表現の学習

【要約】

– CAVLは、視覚と言語表現を一緒に学ぶことで、視覚言語下流タスクに転用できるようにする「視覚的言語の事前学習」に焦点を当てたものである
– しかしながら、事前学習中に言語と視覚の間に意味的な混乱が存在する
– また、現在の事前学習モデルは、転送先タスクに転送する際に、微調整のために多くの計算資源を使用しなければならない傾向がある
– CAVLでは、事前学習プロセス中に、全文と同じバッチ内の各画像の間の整合性を学習するペアワイズの対比的損失を導入する
– 微調整ステージでは、2つの軽量適応ネットワークを導入し、モデルのパラメーターを減らし、計算資源を節約するためのトレーニング速度を高める
– CAVLは、Visual Question Answering（VQA）、Visual Commonsense Reasoning（VCR）、Natural Language for Visual Reasoning（NLVR）、Region-to-Phrase Grounding（RPG）、Text-to-Image Retrieval（TIR）およびZero-shot Text-to-Image Retrieval（ZS-TIR）という6つの主要な副次的タスクで評価されており、他のベースラインに比べ、優れた性能を発揮している。特に、微調整時間を76.17％削減することができた。
– 拡張実験と消去実験の研究により、当社のCAVLに提案された対比的事前学習と適応的微調整の効率性が証明された。

要約(オリジナル)

Visual and linguistic pre-training aims to learn vision and language representations together, which can be transferred to visual-linguistic downstream tasks. However, there exists semantic confusion between language and vision during the pre-training stage. Moreover, current pre-trained models tend to take lots of computation resources for fine-tuning when transferred to downstream tasks. In this work, we present a simple but effective approach for learning Contrastive and Adaptive representations of Vision and Language, namely CAVL. Specifically, we introduce a pair-wise contrastive loss to learn alignments between the whole sentence and each image in the same batch during the pre-training process. At the fine-tuning stage, we introduce two lightweight adaptation networks to reduce model parameters and increase training speed for saving computation resources. We evaluate our CAVL on six main downstream tasks, including Visual Question Answering (VQA), Visual Commonsense Reasoning (VCR), Natural Language for Visual Reasoning (NLVR), Region-to-Phrase Grounding (RPG), Text-to-Image Retrieval (TIR), and Zero-shot Text-to-Image Retrieval (ZS-TIR). Compared to baselines, we achieve superior performance and reduce the fine-tuning time by a large margin (in particular, 76.17%). Extensive experiments and ablation studies demonstrate the efficiency of contrastive pre-training and adaptive fine-tuning proposed in our CAVL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI