BridgeTower: Building Bridges Between Encoders in Vision-Language Representation Learning

要約

近年、Two-Tower アーキテクチャを使用した視覚言語 (VL) モデルが、視覚言語表現学習を支配しています。
現在の VL モデルは、軽量のユニモーダル エンコーダーを使用し、ディープ クロスモーダル エンコーダーで両方のモダリティを同時に抽出、調整、融合することを学習するか、ディープ トレーニング済みユニモーダル エンコーダーから最後のレイヤーのユニモーダル表現を
一番上のクロスモーダルエンコーダー。
どちらのアプローチも、視覚言語表現の学習を制限し、モデルのパフォーマンスを制限する可能性があります。
このホワイト ペーパーでは、ユニモーダル エンコーダーの最上位レイヤーとクロスモーダル エンコーダーの各レイヤー間の接続を構築する複数のブリッジ レイヤーを導入する Bridge-Tower を提案します。
これにより、効果的なボトムアップ クロスモーダル アラインメントと、クロスモーダル エンコーダー内の事前トレーニング済みユニモーダル エンコーダーの異なるセマンティック レベルの視覚表現とテキスト表現の融合が可能になります。
Bridge-Tower は、4M 画像のみで事前トレーニングされており、さまざまなダウンストリーム ビジョン言語タスクで最先端のパフォーマンスを実現します。
特に、VQAv2 test-std セットでは、Bridge-Tower は 78.73% の精度を達成し、同じ事前トレーニング データとほとんど無視できる追加パラメーターと計算で、以前の最先端モデル METER を 1.09% 上回っています。
コスト。
特に、モデルをさらにスケーリングすると、Bridge-Tower は 81.15% の精度を達成し、桁違いの大規模なデータセットで事前トレーニングされたモデルを上回ります。
コードとチェックポイントは、\url{https://github.com/microsoft/BridgeTower} で入手できます。

要約(オリジナル)

Vision-Language (VL) models with the Two-Tower architecture have dominated visual-language representation learning in recent years. Current VL models either use lightweight uni-modal encoders and learn to extract, align and fuse both modalities simultaneously in a deep cross-modal encoder, or feed the last-layer uni-modal representations from the deep pre-trained uni-modal encoders into the top cross-modal encoder. Both approaches potentially restrict vision-language representation learning and limit model performance. In this paper, we propose Bridge-Tower, which introduces multiple bridge layers that build a connection between the top layers of uni-modal encoders and each layer of the cross-modal encoder. This enables effective bottom-up cross-modal alignment and fusion between visual and textual representations of different semantic levels of pre-trained uni-modal encoders in the cross-modal encoder. Pre-trained with only 4M images, Bridge-Tower achieves state-of-the-art performance on various downstream vision-language tasks. In particular, on the VQAv2 test-std set, Bridge-Tower achieves an accuracy of 78.73%, outperforming the previous state-of-the-art model METER by 1.09% with the same pre-training data and almost negligible additional parameters and computational costs. Notably, when further scaling the model, Bridge-Tower achieves an accuracy of 81.15%, surpassing models that are pre-trained on orders-of-magnitude larger datasets. Code and checkpoints are available at \url{https://github.com/microsoft/BridgeTower}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google