Linearly Mapping from Image to Text Space

要約

テキストのみの言語モデル（LM）が、非言語世界の特徴をどの程度まで学習するかは未解決の問題である。先行研究では、視覚モデルのパラメータが言語空間で画像を符号化するように最適化されている場合、事前学習された言語モデルが画像のキャプションを学習できることが示されている。我々はより強い仮説を検証する：凍結されたテキストのみのモデルと視覚のみのモデルによって学習された概念表現が、線形写像で実現できるほど類似していること。視覚モデルから得られる画像表現は、単一の線形射影を訓練することにより、凍結されたLMに連続的なプロンプトとして転送できることを示す。これらを用いてLMを促すことで、画像エンコーダとテキストデコーダの両方を調整するモデル（MAGMAモデルなど）と比較して、キャプションや視覚的質問応答タスクにおいて競争力のある性能を達成する。3つの画像エンコーダを、事前学習で見られる言語監視の量を増やしながら比較した。BEIT（言語情報なし）、NF-ResNET（語彙カテゴリー情報）、CLIP（完全自然言語記述）である。その結果、3つのエンコーダとも、視覚的な特性情報（例えば、動物が大きいか小さいか）を言語モデルに伝達する能力は同等であるが、言語的なスーパービジョンを用いて事前学習した画像エンコーダは、カテゴリ情報（例えば、カバとゾウの区別）をより顕著に符号化し、ベンチマーク言語-視覚タスクにおいて有意に優れた性能を示すことがわかった。この結果は、LMが概念情報を視覚ベースのモデルと同様に構造的に符号化することを示しており、たとえ画像のみで訓練されたモデルであっても同様である。コードはこちらから入手可能です： https://github.com/jmerullo/limber

要約(オリジナル)

The extent to which text-only language models (LMs) learn to represent features of the non-linguistic world is an open question. Prior work has shown that pretrained LMs can be taught to caption images when a vision model’s parameters are optimized to encode images in the language space. We test a stronger hypothesis: that the conceptual representations learned by frozen text-only models and vision-only models are similar enough that this can be achieved with a linear map. We show that the image representations from vision models can be transferred as continuous prompts to frozen LMs by training only a single linear projection. Using these to prompt the LM achieves competitive performance on captioning and visual question answering tasks compared to models that tune both the image encoder and text decoder (such as the MAGMA model). We compare three image encoders with increasing amounts of linguistic supervision seen during pretraining: BEIT (no linguistic information), NF-ResNET (lexical category information), and CLIP (full natural language descriptions). We find that all three encoders perform equally well at transferring visual property information to the language model (e.g., whether an animal is large or small), but that image encoders pretrained with linguistic supervision more saliently encode category information (e.g., distinguishing hippo vs. elephant) and thus perform significantly better on benchmark language-and-vision tasks. Our results indicate that LMs encode conceptual information structurally similarly to vision-based models, even those that are solely trained on images. Code is available here: https://github.com/jmerullo/limber

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL