DIFF-NST: Diffusion Interleaving For deFormable Neural Style Transfer

要約

ニューラル スタイル転送 (NST) は、参照スタイル画像のスタイルに合わせてコンテンツ画像の芸術的な外観を変更するニューラル技術を適用する研究分野です。
従来、NST 手法はテクスチャベースの画像編集に焦点を当てており、主に低レベルの情報に影響を与え、ほとんどの画像構造を同じに保ちました。
ただし、一部のスタイルでは、特にスタイルが抽象的である場合、またはスタイルの主な概念が一部のコンテンツの変形された表現にある場合には、コンテンツのスタイルベースの変形が望ましいです。
最近の安定拡散などの拡散モデルの導入により、はるかに強力な画像生成技術にアクセスできるようになり、新たな可能性が可能になります。
私たちの研究では、この新しいクラスのモデルを使用してスタイル転送を実行しながら、以前のモデルでは実現できなかった変形可能なスタイル転送を可能にすることを提案します。
これらのモデルの事前分布を活用することで、推論時に新しい芸術的コントロールをどのように公開できるかを示し、スタイル伝達の分野におけるこの新しい方向性を探求する際の発見を文書化します。

要約(オリジナル)

Neural Style Transfer (NST) is the field of study applying neural techniques to modify the artistic appearance of a content image to match the style of a reference style image. Traditionally, NST methods have focused on texture-based image edits, affecting mostly low level information and keeping most image structures the same. However, style-based deformation of the content is desirable for some styles, especially in cases where the style is abstract or the primary concept of the style is in its deformed rendition of some content. With the recent introduction of diffusion models, such as Stable Diffusion, we can access far more powerful image generation techniques, enabling new possibilities. In our work, we propose using this new class of models to perform style transfer while enabling deformable style transfer, an elusive capability in previous models. We show how leveraging the priors of these models can expose new artistic controls at inference time, and we document our findings in exploring this new direction for the field of style transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google