MoMo: A shared encoder Model for text, image and multi-Modal representations

要約

タイトル：テキスト、画像、マルチモーダル表現のための共有エンコーダモデルMoMo

要約：

– データ、メモリ、ランタイムの効率性を保ちながら、複数のビジュアル、言語、マルチモーダルベンチマークで強力な結果を出す、自己監督型の共有エンコーダモデルを提案する。
– この研究は以下の3つの貢献をする。第一に、ほとんどの既存の研究とは異なり、テキストと画像のモダリティを処理するために、すべてのエンコーダレイヤーで単一のトランスフォーマーを使用している。第二に、モデルは最初に画像で訓練され、次にunimodalのテキストと画像データセットと共に、最後にテキストとテキスト画像のデータセットと共に訓練される段階的なトレーニング戦略を提案する。第三に、両方のモダリティの情報を保持するために、トレーニングパイプラインを提案し、それぞれのトレーニングアップデートステップで、それぞれのモダリティの勾配更新から同時に学習する。
– ダウンストリームのテキストのみ、画像のみ、マルチモーダルタスクにおいて、MoMoはより少ないパラメタとより少ない事前トレーニングデータを使用しながら、いくつかの強力なモデルと競争力のある結果を出す。たとえば、MoMoは、FLAVAよりも少ないパラメータ数（2/5）と画像テキストのトレーニングペア（1/3）を使用しながら、マルチモーダル（+ 3.1）、画像のみ（+ 1.1）、テキストのみ（- 0.1）のタスクにおいて競争力がある結果を出している。
– 最後に、さまざまなデザインの選択について調べ、モデルサイズの増加が大幅な性能向上をもたらすことを示し、アプローチを使用した大きなモデルは、大幅な改善の可能性を示唆している。

要約(オリジナル)

We propose a self-supervised shared encoder model that achieves strong results on several visual, language and multimodal benchmarks while being data, memory and run-time efficient. We make three key contributions. First, in contrast to most existing works, we use a single transformer with all the encoder layers processing both the text and the image modalities. Second, we propose a stage-wise training strategy where the model is first trained on images, then jointly with unimodal text and image datasets and finally jointly with text and text-image datasets. Third, to preserve information across both the modalities, we propose a training pipeline that learns simultaneously from gradient updates of different modalities at each training update step. The results on downstream text-only, image-only and multimodal tasks show that our model is competitive with several strong models while using fewer parameters and lesser pre-training data. For example, MoMo performs competitively with FLAVA on multimodal (+3.1), image-only (+1.1) and text-only (-0.1) tasks despite having 2/5th the number of parameters and using 1/3rd the image-text training pairs. Finally, we ablate various design choices and further show that increasing model size produces significant performance gains indicating potential for substantial improvements with larger models using our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI