SceneComposer: Any-Level Semantic Image Synthesis

要約

純粋なテキストから正確な形状を持つ 2D セマンティック キャンバスに至るまで、任意の精度レベルのセマンティック レイアウトから条件付き画像合成のための新しいフレームワークを提案します。
より具体的には、入力レイアウトは、自由形式のテキスト記述と調整可能な精度レベルを持つ 1 つ以上のセマンティック領域で構成され、目的の制御性に基づいて設定できます。
このフレームワークは、形状情報を持たない最下位レベルの text-to-image (T2I) に自然に還元され、最上位レベルの segmentation-to-image (S2I) になります。
その中間のレベルをサポートすることで、私たちのフレームワークは、さまざまな描画の専門知識を持つユーザーや、クリエイティブ ワークフローのさまざまな段階にあるユーザーを柔軟に支援します。
この新しいセットアップに伴う課題に対処するためのいくつかの新しい手法を紹介します。これには、トレーニング データを収集するためのパイプラインが含まれます。
精度レベル、セマンティクス、および構成情報を共同でエンコードするための、精度でエンコードされたマスク ピラミッドとテキスト特徴マップ表現。
画像を合成するためのマルチスケール誘導拡散モデル。
提案された方法を評価するために、さまざまなシーンとスタイルでユーザーが描いたレイアウトを含むテスト データセットを収集します。
実験結果は、提案された方法が所定の精度でレイアウトに従って高品質の画像を生成できることを示しており、既存の方法と比較して有利です。
プロジェクトページ\url{https://zengxianyu.github.io/scenec/}

要約(オリジナル)

We propose a new framework for conditional image synthesis from semantic layouts of any precision levels, ranging from pure text to a 2D semantic canvas with precise shapes. More specifically, the input layout consists of one or more semantic regions with free-form text descriptions and adjustable precision levels, which can be set based on the desired controllability. The framework naturally reduces to text-to-image (T2I) at the lowest level with no shape information, and it becomes segmentation-to-image (S2I) at the highest level. By supporting the levels in-between, our framework is flexible in assisting users of different drawing expertise and at different stages of their creative workflow. We introduce several novel techniques to address the challenges coming with this new setup, including a pipeline for collecting training data; a precision-encoded mask pyramid and a text feature map representation to jointly encode precision level, semantics, and composition information; and a multi-scale guided diffusion model to synthesize images. To evaluate the proposed method, we collect a test dataset containing user-drawn layouts with diverse scenes and styles. Experimental results show that the proposed method can generate high-quality images following the layout at given precision, and compares favorably against existing methods. Project page \url{https://zengxianyu.github.io/scenec/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google