SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs

要約

この研究では、凍結された LLM が画像やビデオなどの非言語モダリティを含む理解タスクと生成タスクの両方を実行できるようにするための Semantic Pyramid AutoEncoder (SPAE) を紹介します。
SPAE は、生のピクセルと、LLM の語彙から抽出された解釈可能な語彙トークン (または単語) との間で変換を行います。
結果として得られるトークンは、意味論的な意味と、視覚的な再構成に必要な詳細の両方をキャプチャし、視覚的なコンテンツを LLM が理解できる言語に効果的に変換し、さまざまなマルチモーダル タスクを実行できるようにします。
私たちのアプローチは、さまざまな画像理解および生成タスクで、凍結された PaLM 2 および GPT 3.5 を使用したインコンテキスト学習実験を通じて検証されています。
私たちの手法は、同じ設定の下で、画像理解タスクにおける最先端のパフォーマンスを 25% 以上上回りながら、フリーズ LLM が画像コンテンツを生成できるようにする最初の成功した試みです。

要約(オリジナル)

In this work, we introduce Semantic Pyramid AutoEncoder (SPAE) for enabling frozen LLMs to perform both understanding and generation tasks involving non-linguistic modalities such as images or videos. SPAE converts between raw pixels and interpretable lexical tokens (or words) extracted from the LLM’s vocabulary. The resulting tokens capture both the semantic meaning and the fine-grained details needed for visual reconstruction, effectively translating the visual content into a language comprehensible to the LLM, and empowering it to perform a wide array of multimodal tasks. Our approach is validated through in-context learning experiments with frozen PaLM 2 and GPT 3.5 on a diverse set of image understanding and generation tasks. Our method marks the first successful attempt to enable a frozen LLM to generate image content while surpassing state-of-the-art performance in image understanding tasks, under the same setting, by over 25%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google