Learning Continuous 3D Words for Text-to-Image Generation

要約

画像生成のための拡散モデルに対する現在の制御（テキストや ControlNet など）は、照明方向や非剛体形状の変化などの抽象的で連続的な属性を認識するのに不十分です。
この論文では、テキストから画像へのモデルのユーザーが画像内のいくつかの属性をきめ細かく制御できるようにするアプローチを紹介します。
これは、継続的に変換できる入力トークンの特別なセットを設計することによって行われます。これらを連続 3D ワードと呼びます。
たとえば、これらの属性をスライダーとして表し、テキスト プロンプトと組み合わせて適用することで、画像生成をきめ細かく制御できます。
単一のメッシュとレンダリング エンジンのみを前提として、時間帯の照明、鳥の羽の方向、ドリーズーム効果、オブジェクトのポーズなど、いくつかの 3D 対応属性に対する継続的なユーザー制御を提供するために私たちのアプローチを採用できることを示します。
私たちの方法は、生成プロセスにオーバーヘッドを追加せずに、複数の連続 3D ワードとテキストの説明を同時に使用して画像作成を調整できます。
プロジェクトページ: https://ttchengab.github.io/continuous_3d_words

要約(オリジナル)

Current controls over diffusion models (e.g., through text or ControlNet) for image generation fall short in recognizing abstract, continuous attributes like illumination direction or non-rigid shape change. In this paper, we present an approach for allowing users of text-to-image models to have fine-grained control of several attributes in an image. We do this by engineering special sets of input tokens that can be transformed in a continuous manner — we call them Continuous 3D Words. These attributes can, for example, be represented as sliders and applied jointly with text prompts for fine-grained control over image generation. Given only a single mesh and a rendering engine, we show that our approach can be adopted to provide continuous user control over several 3D-aware attributes, including time-of-day illumination, bird wing orientation, dollyzoom effect, and object poses. Our method is capable of conditioning image creation with multiple Continuous 3D Words and text descriptions simultaneously while adding no overhead to the generative process. Project Page: https://ttchengab.github.io/continuous_3d_words

arxiv情報

提供元, 利用サービス

arxiv.jp, Google