MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks

要約

言語モデルの開発は、エンコーダー/デコーダーからデコーダーのみの設計に移行しました。
さらに、2 つの最も一般的なマルチモーダル タスクであるジェネレーティブ タスクとコントラスティブ タスクは、互いに競合する傾向があり、1 つのアーキテクチャに対応するのが難しく、ダウンストリーム タスクにはさらに複雑な適応が必要であるというのが一般的な知識です。
マルチモーダル タスク用のデコーダのみのモデルを使用したトレーニングの新しいパラダイムを提案します。これは、これらの異なる視覚言語タスクの共同学習に驚くほど効果的です。
これは、MaMMUT と呼ばれる単純なモデルで行われます。
これは、シングル ビジョン エンコーダーとテキスト デコーダーで構成され、テキスト デコーダーでの新しい 2 パス アプローチにより、対照的で生成的な学習に対応できます。
これらの多様な目的のタスクの共同トレーニングがシンプルで効果的であり、モデルの重みの共有を最大化することを示します。
さらに、同じアーキテクチャにより、オープン語彙オブジェクト検出およびビデオ言語タスクへの簡単な拡張が可能になります。
このモデルは、容量が控えめでありながら、さまざまなタスクに取り組んでいます。
私たちのモデルは、画像テキストとテキスト画像の検索、ビデオ質問応答、オープン語彙検出タスクで SOTA を達成し、はるかに大規模で広範囲にトレーニングされた基本モデルよりも優れています。
特にそのサイズを考慮すると、VQA とビデオ キャプションで競争力のある結果を示しています。
アブレーションは、私たちのアプローチの柔軟性と利点を確認します。

要約(オリジナル)

The development of language models have moved from encoder-decoder to decoder-only designs. In addition, the common knowledge has it that the two most popular multimodal tasks, the generative and contrastive tasks, tend to conflict with one another, are hard to accommodate in one architecture, and further need complex adaptations for downstream tasks. We propose a novel paradigm of training with a decoder-only model for multimodal tasks, which is surprisingly effective in jointly learning of these disparate vision-language tasks. This is done with a simple model, called MaMMUT. It consists of a single vision encoder and a text decoder, and is able to accommodate contrastive and generative learning by a novel two-pass approach on the text decoder. We demonstrate that joint training of these diverse-objective tasks is simple, effective, and maximizes the weight-sharing of the model. Furthermore, the same architecture enables straightforward extensions to open-vocabulary object detection and video-language tasks. The model tackles a diverse range of tasks, while being modest in capacity. Our model achieves the SOTA on image-text and text-image retrieval, video question answering and open-vocabulary detection tasks, outperforming much larger and more extensively trained foundational models. It shows competitive results on VQA and Video Captioning, especially considering its size. Ablations confirm the flexibility and advantages of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google