DiffArtist: Towards Structure and Appearance Controllable Image Stylization

要約

芸術的なスタイルには、構造要素と外観の両方の要素が含まれます。
既存のニューラルスタイリゼーション技術は、主に色や質感などの外観の特徴の転送に焦点を当てており、しばしば構造スタイリゼーションの同様に重要な側面を無視します。
このホワイトペーパーでは、2D画像の構造と外観の同時スタイリゼーションに関する包括的な研究を紹介します。
具体的には、私たちの知る限り、構造と外観よりも二重制御性を可能にする最初のスタイリライゼーション方法であるDiffartistを紹介します。
私たちの重要な洞察は、構造と外観を別々の拡散プロセスとして表現して、トレーニングを必要とせずに完全な解体を達成し、それにより、両方のコンポーネントの前例のない制御性をユーザーに与えることです。
ただし、外観と構造の両方の様式化の評価は、セマンティックな理解を必要とするため、困難なままです。
この目的のために、マルチモーダルLLMベースのスタイル評価者をさらに提案します。これは、セマンティック理解がないメトリックよりも人間の好みとよりよく調整されます。
この強力な評価者を使用すると、広範な分析を実施し、Diffartistが優れたスタイルの忠実度、編集可能性、構造認識の解体を達成することを実証します。
これらのメリットは、Diffartistを創造的なアプリケーションにとって非常に用途の広いソリューションにします。
プロジェクトホームページ：https：//github.com/songrise/artist。

要約(オリジナル)

Artistic style includes both structural and appearance elements. Existing neural stylization techniques primarily focus on transferring appearance features such as color and texture, often neglecting the equally crucial aspect of structural stylization. In this paper, we present a comprehensive study on the simultaneous stylization of structure and appearance of 2D images. Specifically, we introduce DiffArtist, which, to the best of our knowledge, is the first stylization method to allow for dual controllability over structure and appearance. Our key insight is to represent structure and appearance as separate diffusion processes to achieve complete disentanglement without requiring any training, thereby endowing users with unprecedented controllability for both components. The evaluation of stylization of both appearance and structure, however, remains challenging as it necessitates semantic understanding. To this end, we further propose a Multimodal LLM-based style evaluator, which better aligns with human preferences than metrics lacking semantic understanding. With this powerful evaluator, we conduct extensive analysis, demonstrating that DiffArtist achieves superior style fidelity, editability, and structure-appearance disentanglement. These merits make DiffArtist a highly versatile solution for creative applications. Project homepage: https://github.com/songrise/Artist.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google