Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

要約

我々は、マルチモーダルな理解と生成を統合する統合トランスフォーマー、つまり Show-o を紹介します。
完全な自己回帰モデルとは異なり、Show-o は自己回帰モデリングと (離散) 拡散モデリングを統合して、さまざまな混合モダリティの入力と出力を適応的に処理します。
統合モデルは、視覚的な質問応答、テキストから画像への生成、テキストガイドによる修復/外挿、混合モダリティ生成など、幅広い視覚言語タスクを柔軟にサポートします。
さまざまなベンチマークにわたって、理解または生成のために調整された同等以上のパラメーターを備えた既存の個々のモデルと同等または優れたパフォーマンスを示します。
これは、次世代の基盤モデルとしての可能性を大きく浮き彫りにします。
コードとモデルは https://github.com/showlab/Show-o でリリースされます。

要約(オリジナル)

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google