MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks

要約

言語モデルの開発は、エンコーダ-デコーダからデコーダのみの設計に移行しました。
さらに、最も一般的な 2 つのマルチモーダル タスクである生成タスクと対照タスクは、1 つのアーキテクチャに収容するのが簡単ではなく、さらに下流のタスクに適応させる必要があることがわかりました。
我々は、マルチモーダルタスク用のデコーダのみのモデルを使用したトレーニングの新しいパラダイムを提案します。これは、これらの異なる視覚言語タスクを共同学習するのに驚くほど効果的です。
これは、MaMMUT と呼ばれる単純なモデルを使用して行われます。
これは、シングル ビジョン エンコーダーとテキスト デコーダーで構成され、テキスト デコーダーでの新しい 2 パス アプローチによる対比学習と生成学習に対応できます。
我々は、これらの多様な目的の共同学習がシンプルかつ効果的であり、これらのタスク全体でのモデルの重み共有を最大化することを実証します。
さらに、同じアーキテクチャにより、オープン語彙オブジェクト検出やビデオ言語タスクへの直接的な拡張が可能になります。
このモデルは、容量は控えめですが、さまざまなタスクに取り組みます。
私たちのモデルは、画像テキストとテキスト画像の検索、ビデオ質問応答、オープン語彙検出タスクに関して最先端の技術を実現しており、より大規模で広範囲にトレーニングされた基本モデルを上回ります。
特にその容量を考慮すると、VQA とビデオ キャプションに関して非常に競争力のある結果を示しています。
アブレーションは、私たちのアプローチの柔軟性と利点を裏付けています。

要約(オリジナル)

The development of language models have moved from encoder-decoder to decoder-only designs. In addition, we observe that the two most popular multimodal tasks, the generative and contrastive tasks, are nontrivial to accommodate in one architecture, and further need adaptations for downstream tasks. We propose a novel paradigm of training with a decoder-only model for multimodal tasks, which is surprisingly effective in jointly learning of these disparate vision-language tasks. This is done with a simple model, called MaMMUT. It consists of a single vision encoder and a text decoder, and is able to accommodate contrastive and generative learning by a novel two-pass approach on the text decoder. We demonstrate that joint learning of these diverse objectives is simple, effective, and maximizes the weight-sharing of the model across these tasks. Furthermore, the same architecture enables straightforward extensions to open-vocabulary object detection and video-language tasks. The model tackles a diverse range of tasks, while being modest in capacity. Our model achieves the state of the art on image-text and text-image retrieval, video question answering and open-vocabulary detection tasks, outperforming much larger and more extensively trained foundational models. It shows very competitive results on VQA and Video Captioning, especially considering its capacity. Ablations confirm the flexibility and advantages of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google