Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization

要約

最近、大規模言語モデル (LLM) の目覚ましい進歩により、研究者はその並外れた推論能力を視覚データと言語データの両方に応用するようになりました。
ただし、一般的なアプローチは、主に視覚入力をプロンプトと見なし、フリーズ LLM による視覚コンテンツに基づいて条件付けされたテキスト生成プロセスを最適化することにのみ焦点を当てています。
視覚と言語のこのような不公平な扱いは、モデルの可能性を大きく制約します。
この論文では、視覚と言語の両方を統一した形式で表現することで、この制限を突破します。
具体的には、非言語画像を、LLM が読み取れる外国語のような個別のトークンのシーケンスに変換する、適切に設計されたビジュアル トークナイザーを導入します。
結果として得られるビジュアル トークンは、言葉に値する高レベルのセマンティクスを包含し、画像とは異なる動的なシーケンス長もサポートします。
このトークナイザーに対処するため、LaVIT と呼ばれる提示された基盤モデルは、同じ生成学習パラダイムの下で画像とテキストの両方を無差別に処理できます。
この統合により、LaVIT は、マルチモーダル コンテンツを同時に理解して生成するための優れた汎用インターフェイスとして機能できるようになります。
広範な実験により、大規模な視覚言語タスクにおいて既存のモデルよりも大幅に優れたパフォーマンスを発揮することがさらに実証されました。
私たちのコードとモデルは https://github.com/jy0205/LaVIT で入手できます。

要約(オリジナル)

Recently, the remarkable advance of the Large Language Model (LLM) has inspired researchers to transfer its extraordinary reasoning capability to both vision and language data. However, the prevailing approaches primarily regard the visual input as a prompt and focus exclusively on optimizing the text generation process conditioned upon vision content by a frozen LLM. Such an inequitable treatment of vision and language heavily constrains the model’s potential. In this paper, we break through this limitation by representing both vision and language in a unified form. Specifically, we introduce a well-designed visual tokenizer to translate the non-linguistic image into a sequence of discrete tokens like a foreign language that LLM can read. The resulting visual tokens encompass high-level semantics worthy of a word and also support dynamic sequence length varying from the image. Coped with this tokenizer, the presented foundation model called LaVIT can handle both image and text indiscriminately under the same generative learning paradigm. This unification empowers LaVIT to serve as an impressive generalist interface to understand and generate multi-modal content simultaneously. Extensive experiments further showcase that it outperforms the existing models by a large margin on massive vision-language tasks. Our code and models will be available at https://github.com/jy0205/LaVIT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google