Inversion-Based Creativity Transfer with Diffusion Models

要約

この論文では、「Creativity Transfer」のタスクを紹介します。
絵画における芸術的創造性は表現手段であり、画材、色、筆運びだけでなく、意味要素、オブジェクト形状などを含む高レベルの属性も含まれます。
(例えば、スタイルの転送) は、形状の変更を制御したり、意味要素を伝えたりすることに失敗することがよくあります。
事前にトレーニングされたテキストから画像への合成拡散確率モデルは、驚くべき品質を達成しましたが、特定の絵画の属性を正確に描写するには、多くの場合、広範なテキスト記述が必要です。
芸術作品の独自性は、まさに通常の言葉では十分に説明できないという事実にあると私たちは信じています。
私たちの重要なアイデアは、単一の絵から芸術的な創造性を直接学び、複雑なテキストの説明を提供せずに統合を導くことです。
具体的には、創造性を絵画の学習可能なテキスト記述と想定しています。
画像の全体的かつ詳細な情報を効率的かつ正確に学習できる注意ベースの反転方法を提案し、絵画の完全な芸術的創造性を捉えます。
さまざまなアーティストやスタイルの多数の絵画で、私たちの方法の品質と効率を実証しています。
コードとモデルは https://github.com/zyxElsa/creativity-transfer で入手できます。

要約(オリジナル)

In this paper, we introduce the task of ‘Creativity Transfer’. The artistic creativity within a painting is the means of expression, which includes not only the painting material, colors, and brushstrokes, but also the high-level attributes including semantic elements, object shape, etc. Previous arbitrary example-guided artistic image generation methods (e.g., style transfer) often fail to control shape changes or convey semantic elements. The pre-trained text-to-image synthesis diffusion probabilistic models have achieved remarkable quality, but they often require extensive textual descriptions to accurately portray attributes of a particular painting. We believe that the uniqueness of an artwork lies precisely in the fact that it cannot be adequately explained with normal language. Our key idea is to learn artistic creativity directly from a single painting and then guide the synthesis without providing complex textual descriptions. Specifically, we assume creativity as a learnable textual description of a painting. We propose an attention-based inversion method, which can efficiently and accurately learn the holistic and detailed information of an image, thus capturing the complete artistic creativity of a painting. We demonstrate the quality and efficiency of our method on numerous paintings of various artists and styles. Code and models are available at https://github.com/zyxElsa/creativity-transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google