Efficient Vision-Language Pretraining with Visual Concepts and Hierarchical Alignment

要約

ビジョンと言語の事前トレーニングは、マルチモーダル ダウンストリーム タスクに取り組むための一般的なアプローチになりました。
現在の傾向は、より大きなモデルと事前トレーニング データセットに移行することです。
この計算の真っ向からの突進は、長期的には持続可能な解決策に向かうのに合理的ではないように思われ、事実上、リソースが限られている学術研究所を除外しています。
この作業では、ViCHA と呼ばれる新しいフレームワークを提案します。これは、(a) 新しい階層的なクロスモーダル アラインメント損失、(b) マスクされた画像モデリングに基づく新しい自己教師ありスキームによって、入力データを効率的に活用して学習を促進します。
、(c) CLIP などの既存の基盤モデルで取得された Visual Concepts と呼ばれる画像レベルの注釈を活用して、画像エンコーダーのパフォーマンスを向上させます。
4 分の 1 のデータで事前トレーニングされていますが、当社の ViCHA 戦略は、画像テキスト検索、VQA、視覚推論、視覚含意、視覚接地などのいくつかのダウンストリーム タスクで他のアプローチよりも優れています。
コードは、https://github.com/mshukor/ViCHA で公開されます。

要約(オリジナル)

Vision and Language Pretraining has become the prevalent approach for tackling multimodal downstream tasks. The current trend is to move towards ever larger models and pretraining datasets. This computational headlong rush does not seem reasonable in the long term to move toward sustainable solutions, and de facto excludes academic laboratories with limited resources. In this work, we propose a new framework, dubbed ViCHA, that efficiently exploits the input data to boost the learning by: (a) a new hierarchical cross-modal alignment loss, (b) new self-supervised scheme based on masked image modeling, (c) leveraging image-level annotations, called Visual Concepts, obtained with existing foundation models such as CLIP to boost the performance of the image encoder. Although pretrained on four times less data, our ViCHA strategy outperforms other approaches on several downstream tasks such as Image-Text Retrieval, VQA, Visual Reasoning, Visual Entailment and Visual Grounding. The code will be made publicly available here: https://github.com/mshukor/ViCHA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google