eP-ALM: Efficient Perceptual Augmentation of Language Models

要約

大規模言語モデル (LLM) は、大規模なモデルで出現する前例のない機能で、これまでのところ世界に感銘を与えてきました。
ビジョンの面では、トランスフォーマー モデル (つまり、ViT) が同じ傾向に従っており、困難なベンチマークで最高のパフォーマンスを達成しています。
このような単峰モデルが豊富にあると、当然の疑問が生じます。
マルチモーダルなタスクに取り組むためにも、この傾向に従う必要があるのでしょうか?
この作業では、既存のモデルの効率的な適応に努力を向けることを提案し、言語モデルを知覚で増強することを提案します。
視覚言語タスク用に事前トレーニング済みモデルを適応させる既存のアプローチは、効率を妨げるいくつかの重要なコンポーネントに依拠しています。
特に、依然として多数のパラメーターをトレーニングし、大規模なマルチモーダル事前トレーニングに依存し、膨大な画像テキスト データセットでトレーニングされたエンコーダー (CLIP など) を使用し、かなりの推論オーバーヘッドを追加します。
さらに、これらのアプローチのほとんどはゼロショット学習とインコンテキスト学習に焦点を当てており、直接微調整する努力はほとんどまたはまったくありません。
ユニモーダル モデルをマルチモーダル タスクに適応させるために必要な最小限の計算作業を調査し、さまざまなアプローチとともに、ユニモーダルの事前トレーニング済みモデルを効率的に適応させる新しい挑戦的なセットアップを提案します。
合計パラメーターの 99\% 以上を凍結し、1 つの線形射影レイヤーのみをトレーニングし、1 つのトレーニング可能なトークンのみを前に追加することにより、私たちのアプローチ (eP-ALM と呼ばれる) は、画像、ビデオ、および
提案されたセットアップに従うオーディオモダリティ。
コードは https://github.com/mshukor/eP-ALM から入手できます。

要約(オリジナル)

Large Language Models (LLMs) have so far impressed the world, with unprecedented capabilities that emerge in models at large scales. On the vision side, transformer models (i.e., ViT) are following the same trend, achieving the best performance on challenging benchmarks. With the abundance of such unimodal models, a natural question arises; do we need also to follow this trend to tackle multimodal tasks? In this work, we propose to rather direct effort to efficient adaptations of existing models, and propose to augment Language Models with perception. Existing approaches for adapting pretrained models for vision-language tasks still rely on several key components that hinder their efficiency. In particular, they still train a large number of parameters, rely on large multimodal pretraining, use encoders (e.g., CLIP) trained on huge image-text datasets, and add significant inference overhead. In addition, most of these approaches have focused on Zero-Shot and In Context Learning, with little to no effort on direct finetuning. We investigate the minimal computational effort needed to adapt unimodal models for multimodal tasks and propose a new challenging setup, alongside different approaches, that efficiently adapts unimodal pretrained models. We show that by freezing more than 99\% of total parameters, training only one linear projection layer, and prepending only one trainable token, our approach (dubbed eP-ALM) significantly outperforms other baselines on VQA and Captioning across Image, Video, and Audio modalities, following the proposed setup. The code will be available here: https://github.com/mshukor/eP-ALM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google