Make It Count: Text-to-Image Generation with an Accurate Number of Objects

要約

テキストから画像への拡散モデルは前例のない成功を収めましたが、テキストを使用して描画オブジェクトの数を制御するのは驚くほど困難です。
これは、技術文書から児童書、料理レシピの図解まで、さまざまな用途で重要です。
生成モデルでは、複数のオブジェクトが同一または重複しているように見える場合でも、オブジェクトのインスタンスごとに個別のアイデンティティの感覚を維持し、生成中に暗黙的にグローバル計算を実行する必要があるため、オブジェクトの正しいカウントを生成することは根本的に困難です。
そのような表現が存在するかどうかはまだ不明です。
カウント補正生成に対処するために、まず、オブジェクトの識別情報を伝えることができる拡散モデル内の特徴を特定します。
次に、それらを使用して、ノイズ除去プロセス中にオブジェクトのインスタンスを分離してカウントし、過剰生成と過小生成を検出します。
後者は、既存のオブジェクトのレイアウトに基づいて、失われたオブジェクトの形状と位置の両方を予測するモデルをトレーニングすることで修正し、正しいオブジェクト数でノイズ除去をガイドするためにそれを使用する方法を示します。
私たちのアプローチである CountGen は、オブジェクト レイアウトを決定するために外部ソースに依存せず、むしろ拡散モデル自体からの事前分布を使用して、プロンプト依存およびシード依存のレイアウトを作成します。
2 つのベンチマーク データセットで評価したところ、CountGen は既存のベースラインのカウント精度を大幅に上回っていることがわかりました。

要約(オリジナル)

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children’s books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google