ControlAR: Controllable Image Generation with Autoregressive Models

要約

自己回帰(AR)モデルは、画像生成をネクストトーク予測として再構築し、顕著な可能性を示し、拡散モデルの強力な競争相手として台頭してきた。しかし、ControlNetのようなControl-to-Image生成は、ARモデルではほとんど未解明である。大規模言語モデルの進歩に触発された自然なアプローチは、制御画像をトークンにトークン化し、画像トークンをデコードする前に自己回帰モデルにプレフィルすることであるが、ControlNetと比較して生成品質がまだ不十分であり、非効率に悩まされている。このため、空間制御を自己回帰画像生成モデルに統合するための効率的かつ効果的なフレームワークであるControlARを紹介する。まず、ARモデルのための制御エンコーディングを探求し、空間入力（例えば、キャニーエッジや深度マップ）を制御トークンに変換する軽量制御エンコーダを提案する。次にControlARは、位置エンコーディングと同様に、制御トークンと画像トークン間のトークン毎の融合を条件として次の画像トークンを生成する条件付き復号法を利用する。トークンの前詰めに比べて、条件付き復号を用いることで、ARモデルの制御能力が大幅に強化されるだけでなく、モデルの効率も維持される。さらに、提案されたControlARは、条件付き復号と特定の制御により、任意解像度の画像生成でARモデルを驚くほど強化する。広範な実験により、エッジ、深度、セグメンテーションマスクを含む多様な入力に対して、自己回帰制御による画像生成のための提案ControlARの制御性を実証することができる。さらに、定量的かつ定性的な結果は、ControlARが、ControlNet++など、これまでの最先端の制御可能な拡散モデルを凌駕していることを示している。コード、モデル、デモは近日中にhttps://github.com/hustvl/ControlAR。

要約(オリジナル)

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model’s efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL