EditAR: Unified Conditional Generation with Autoregressive Models

要約

制御可能な画像の生成と編集における最近の進歩は、主に拡散ベースの方法によって推進されています。
普及モデルは、カスタマイズされた設計による特定のタスクでは非常に優れたパフォーマンスを発揮しますが、統一モデルを確立することは依然として困難です。
対照的に、自己回帰モデルは本質的に統一されたトークン化された表現を特徴としており、これによりさまざまなタスクに対する単一の基本モデルの作成が簡素化されます。
この研究では、画像編集、深度から画像、エッジから画像、セグメンテーションから画像など、さまざまな条件付き画像生成タスクのための単一の統合自己回帰フレームワークである EditAR を提案します。
このモデルは画像と命令の両方を入力として受け取り、バニラのネクスト トークン パラダイムで編集された画像トークンを予測します。
テキストと画像の位置合わせを強化するために、基盤モデルからの知識を自己回帰モデリング プロセスに抽出することをさらに提案します。
私たちは、確立されたベンチマークに基づいてさまざまなタスクにわたってその有効性を評価し、さまざまな最先端のタスク固有の手法に匹敵するパフォーマンスを示します。
プロジェクトページ：https://jitengmu.github.io/EditAR/

要約(オリジナル)

Recent progress in controllable image generation and editing is largely driven by diffusion-based methods. Although diffusion models perform exceptionally well in specific tasks with tailored designs, establishing a unified model is still challenging. In contrast, autoregressive models inherently feature a unified tokenized representation, which simplifies the creation of a single foundational model for various tasks. In this work, we propose EditAR, a single unified autoregressive framework for a variety of conditional image generation tasks, e.g., image editing, depth-to-image, edge-to-image, segmentation-to-image. The model takes both images and instructions as inputs, and predicts the edited images tokens in a vanilla next-token paradigm. To enhance the text-to-image alignment, we further propose to distill the knowledge from foundation models into the autoregressive modeling process. We evaluate its effectiveness across diverse tasks on established benchmarks, showing competitive performance to various state-of-the-art task-specific methods. Project page: https://jitengmu.github.io/EditAR/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google