Inversion-Based Style Transfer with Diffusion Models

要約

絵画における芸術的スタイルは、表現の手段であり、絵画の素材、色、ブラシ ストロークだけでなく、意味要素、オブジェクトの形状などを含む高レベルの属性も含まれます。
多くの場合、形状の変化を制御したり、要素を伝達したりできません。
事前にトレーニングされたテキストから画像への合成拡散確率モデルは、驚くべき品質を達成しましたが、特定の絵画の属性を正確に描写するには、多くの場合、広範なテキスト記述が必要です。
芸術作品の独自性は、まさに通常の言葉では十分に説明できないという事実にあると私たちは信じています。
私たちの重要なアイデアは、単一の絵画から芸術的なスタイルを直接学び、複雑なテキストの説明を提供することなく統合を導くことです。
具体的には、学習可能な絵画のテキスト記述としてスタイルを想定しています。
画像の重要な情報を効率的かつ正確に学習し、絵画の芸術的なスタイルをキャプチャして転送できる反転ベースのスタイル転送方法 (InST) を提案します。
さまざまなアーティストやスタイルの多数の絵画で、私たちの方法の品質と効率を実証しています。
コードとモデルは、https://github.com/zyxElsa/InST で入手できます。

要約(オリジナル)

The artistic style within a painting is the means of expression, which includes not only the painting material, colors, and brushstrokes, but also the high-level attributes including semantic elements, object shapes, etc. Previous arbitrary example-guided artistic image generation methods often fail to control shape changes or convey elements. The pre-trained text-to-image synthesis diffusion probabilistic models have achieved remarkable quality, but it often requires extensive textual descriptions to accurately portray attributes of a particular painting. We believe that the uniqueness of an artwork lies precisely in the fact that it cannot be adequately explained with normal language. Our key idea is to learn artistic style directly from a single painting and then guide the synthesis without providing complex textual descriptions. Specifically, we assume style as a learnable textual description of a painting. We propose an inversion-based style transfer method (InST), which can efficiently and accurately learn the key information of an image, thus capturing and transferring the artistic style of a painting. We demonstrate the quality and efficiency of our method on numerous paintings of various artists and styles. Code and models are available at https://github.com/zyxElsa/InST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google