eP-ALM: Efficient Perceptual Augmentation of Language Models

要約

大規模言語モデル (LLM) は、大規模なモデルに現れる前例のない機能により、これまで世界に感銘を与えてきました。
ビジョンの面では、変圧器モデル (つまり、ViT) も同じ傾向をたどっており、困難なベンチマークで最高のパフォーマンスを達成しています。
このような単峰性モデルが豊富に存在するため、当然の疑問が生じます。
マルチモーダルなタスクに取り組むには、私たちもこの傾向に従う必要があるでしょうか?
この研究では、既存のモデルを効率的に適応させることにむしろ努力を向けることを提案し、言語モデルを知覚によって強化することを提案します。
事前学習済みモデルを視覚言語タスクに適応させるための既存のアプローチは、効率性を妨げるいくつかの重要なコンポーネントに依然依存しています。
特に、依然として多数のパラメータをトレーニングし、大規模なマルチモーダル事前トレーニングに依存し、巨大な画像テキスト データセットでトレーニングされたエンコーダー (CLIP など) を使用し、大幅な推論オーバーヘッドを追加します。
さらに、これらのアプローチのほとんどは、ゼロショット学習とコンテキスト学習に焦点を当てており、直接的な微調整にはほとんど、またはまったく取り組んでいません。
私たちは、単峰性モデルをマルチモーダルなタスクに適応させるために必要な最小限の計算量を調査し、単峰性の事前学習済みモデルを効率的に適応させる、さまざまなアプローチと並行して、新しい挑戦的な設定を提案します。
合計パラメーターの 99% 以上を凍結し、1 つの線形投影レイヤーのみをトレーニングし、1 つのトレーニング可能なトークンのみを先頭に付加することにより、私たちのアプローチ (eP-ALM と呼ばれる) が、画像、ビデオ、オーディオにわたる VQA およびキャプションにおいて他のベースラインを大幅に上回るパフォーマンスを示すことを示します。
提案されたセットアップに従ってモダリティを設定します。
コードは、https://github.com/mshukor/eP-ALM から入手できます。

要約(オリジナル)

Large Language Models (LLMs) have so far impressed the world, with unprecedented capabilities that emerge in models at large scales. On the vision side, transformer models (i.e., ViT) are following the same trend, achieving the best performance on challenging benchmarks. With the abundance of such unimodal models, a natural question arises; do we need also to follow this trend to tackle multimodal tasks? In this work, we propose to rather direct effort to efficient adaptations of existing models, and propose to augment Language Models with perception. Existing approaches for adapting pretrained models for vision-language tasks still rely on several key components that hinder their efficiency. In particular, they still train a large number of parameters, rely on large multimodal pretraining, use encoders (e.g., CLIP) trained on huge image-text datasets, and add significant inference overhead. In addition, most of these approaches have focused on Zero-Shot and In Context Learning, with little to no effort on direct finetuning. We investigate the minimal computational effort needed to adapt unimodal models for multimodal tasks and propose a new challenging setup, alongside different approaches, that efficiently adapts unimodal pretrained models. We show that by freezing more than 99% of total parameters, training only one linear projection layer, and prepending only one trainable token, our approach (dubbed eP-ALM) significantly outperforms other baselines on VQA and Captioning across Image, Video, and Audio modalities, following the proposed setup. The code is available here: https://github.com/mshukor/eP-ALM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google