FineControlNet: Fine-level Text Control for Image Generation with Spatially Aligned Text Control Injection

要約

最近導入された ControlNet には、人間の 2D ポーズやエッジ特徴などの幾何学的入力を使用して、テキスト駆動の画像生成プロセスを制御する機能があります。
ControlNet は、生成されたイメージ内のインスタンスの幾何学的形状を制御できますが、各インスタンスの視覚的な外観を決定する機能はありません。
正確な姿勢制御機能を維持しながら、各インスタンスの外観を細かく制御できる FineControlNet を紹介します。
具体的には、人間のポーズ画像による幾何学的制御と、インスタンスレベルのテキストプロンプトによる外観制御を備えた FineControlNet を開発し、デモンストレーションします。
インスタンス固有のテキスト プロンプトと潜在空間での 2D ポーズの空間的位置合わせにより、FineControlNet の細かい制御機能が可能になります。
私たちは、最先端の姿勢条件付きテキストから画像への拡散モデルとの厳密な比較により、FineControlNet のパフォーマンスを評価します。
FineControlNet は、既存の方法と比較して、ユーザーが提供したインスタンス固有のテキスト プロンプトやポーズに従う画像を生成する際に優れたパフォーマンスを実現します。
プロジェクトの Web ページ: https://samsunglabs.github.io/FineControlNet-project-page

要約(オリジナル)

Recently introduced ControlNet has the ability to steer the text-driven image generation process with geometric input such as human 2D pose, or edge features. While ControlNet provides control over the geometric form of the instances in the generated image, it lacks the capability to dictate the visual appearance of each instance. We present FineControlNet to provide fine control over each instance’s appearance while maintaining the precise pose control capability. Specifically, we develop and demonstrate FineControlNet with geometric control via human pose images and appearance control via instance-level text prompts. The spatial alignment of instance-specific text prompts and 2D poses in latent space enables the fine control capabilities of FineControlNet. We evaluate the performance of FineControlNet with rigorous comparison against state-of-the-art pose-conditioned text-to-image diffusion models. FineControlNet achieves superior performance in generating images that follow the user-provided instance-specific text prompts and poses compared with existing methods. Project webpage: https://samsunglabs.github.io/FineControlNet-project-page

arxiv情報

提供元, 利用サービス

arxiv.jp, Google