Skip-and-Play: Depth-Driven Pose-Preserved Image Generation for Any Objects

要約

拡散モデルの登場により、文字だけから多様で高品質な画像を生成できるようになり、その後、モデルの制御性を高める取り組みが行われています。
制御性の向上にも関わらず、姿勢は一般的にカメラパラメータ (回転角度など) またはキーポイント (目など) を介して制御されるため、姿勢制御は依然として特定のオブジェクト (人間など) または姿勢 (正面図など) に限定されます。
、 鼻）。
具体的には、カメラ パラメーター条件付き姿勢制御モデルは、トレーニング用の 3D データセットのサイズが小さいため、オブジェクトに応じて非現実的な画像を生成します。
また、キーポイントベースのアプローチは、さまざまなオブジェクト (教会など) やポーズ (後ろ姿など) の信頼できるキーポイントを取得する際に課題に直面します。
これらの制限に対処するために、カメラパラメータやキーポイントとは異なり、オブジェクトやポーズに関係なく、単一の深度推定モデルから深度マップを簡単に取得できるため、深度ベースのポーズ制御を提案します。
ただし、深度マップはポーズだけでなく、生成された画像の形状にも影響を与えるため、深度ベースのポーズ制御は形状依存性の問題に直面します。
この問題に取り組むために、私たちはスキップ アンド プレイ (SnP) を提案します。これは、深さ条件付き ControlNet の 3 つのコンポーネントが生成された画像のポーズと形状に与える影響の分析を通じて設計されました。
具体的には、解析に基づいてコンポーネントの一部を選択的にスキップし、ポーズを維持しながら深度マップへの形状依存性を軽減します。
さまざまな実験を通じて、ベースラインに対する SnP の優位性を実証し、さまざまなオブジェクトやポーズの画像を生成する SnP の能力を示します。
注目すべきことに、SnP は、条件内のオブジェクト (馬など) とプロンプト (ハリネズミなど) が互いに異なる場合でも画像を生成する能力を示します。

要約(オリジナル)

The emergence of diffusion models has enabled the generation of diverse high-quality images solely from text, prompting subsequent efforts to enhance the controllability of these models. Despite the improvement in controllability, pose control remains limited to specific objects (e.g., humans) or poses (e.g., frontal view) due to the fact that pose is generally controlled via camera parameters (e.g., rotation angle) or keypoints (e.g., eyes, nose). Specifically, camera parameters-conditional pose control models generate unrealistic images depending on the object, owing to the small size of 3D datasets for training. Also, keypoint-based approaches encounter challenges in acquiring reliable keypoints for various objects (e.g., church) or poses (e.g., back view). To address these limitations, we propose depth-based pose control, as depth maps are easily obtainable from a single depth estimation model regardless of objects and poses, unlike camera parameters and keypoints. However, depth-based pose control confronts issues of shape dependency, as depth maps influence not only the pose but also the shape of the generated images. To tackle this issue, we propose Skip-and-Play (SnP), designed via analysis of the impact of three components of depth-conditional ControlNet on the pose and the shape of the generated images. To be specific, based on the analysis, we selectively skip parts of the components to mitigate shape dependency on the depth map while preserving the pose. Through various experiments, we demonstrate the superiority of SnP over baselines and showcase the ability of SnP to generate images of diverse objects and poses. Remarkably, SnP exhibits the ability to generate images even when the objects in the condition (e.g., a horse) and the prompt (e.g., a hedgehog) differ from each other.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google