MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks

要約

言語モデルの開発は、エンコーダー/デコーダーからデコーダーのみの設計に移行しました。
さらに、2 つの最も一般的なマルチモーダル タスクであるジェネレーティブ タスクとコントラスティブ タスクは、互いに競合する傾向があり、1 つのアーキテクチャに対応するのが難しく、ダウンストリーム タスクにはさらに複雑な適応が必要であるというのが一般的な知識です。
マルチモーダル タスク用のデコーダのみのモデルを使用したトレーニングの新しいパラダイムを提案します。これは、これらの異なる視覚言語タスクの共同学習に驚くほど効果的です。
これは、MaMMUT と呼ばれる単純なモデルで行われます。
これは、シングル ビジョン エンコーダーとテキスト デコーダーで構成され、テキスト デコーダーでの新しい 2 パス アプローチにより、対照的で生成的な学習に対応できます。
これらの多様な目的の共同学習がシンプルで効果的であり、これらのタスク全体でモデルの重みを共有できることを実証します。
さらに、同じアーキテクチャにより、オープン語彙オブジェクト検出およびビデオ言語タスクへの簡単な拡張が可能になります。
このモデルは、容量が控えめでありながら、さまざまなタスクに取り組んでいます。
私たちのモデルは、画像とテキスト、テキストと画像の検索、ビデオによる質問への回答、オープン語彙の検出タスクで最先端の技術を実現し、はるかに大規模でより広範囲にトレーニングされた基礎モデルよりも優れています。
特に容量を考慮すると、VQA とビデオ キャプションで非常に優れた結果を示しています。
アブレーションは、私たちのアプローチの柔軟性と利点を確認します。

要約(オリジナル)

The development of language models have moved from encoder-decoder to decoder-only designs. In addition, the common knowledge has it that the two most popular multimodal tasks, the generative and contrastive tasks, tend to conflict with one another, are hard to accommodate in one architecture, and further need complex adaptations for downstream tasks. We propose a novel paradigm of training with a decoder-only model for multimodal tasks, which is surprisingly effective in jointly learning of these disparate vision-language tasks. This is done with a simple model, called MaMMUT. It consists of a single vision encoder and a text decoder, and is able to accommodate contrastive and generative learning by a novel two-pass approach on the text decoder. We demonstrate that joint learning of these diverse objectives is simple, effective, and maximizes the weight-sharing of the model across these tasks. Furthermore, the same architecture enables straightforward extensions to open-vocabulary object detection and video-language tasks. The model tackles a diverse range of tasks, while being modest in capacity. Our model achieves the state of the art on image-text and text-image retrieval, video question answering and open-vocabulary detection tasks, outperforming much larger and more extensively trained foundational models. It shows very competitive results on VQA and Video Captioning, especially considering its capacity. Ablations confirm the flexibility and advantages of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google