Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis

要約

タイトル：ジェネレーティブアートに止まらない：芸術分析におけるコンテンツ-スタイル解離のための安定した拡散

要約：
-芸術の性質には、コンテンツとスタイルの二重性がある。
-コンテンツは、芸術作品のオブジェクトと概念を参照し、スタイルはその表現方法を示す。
-人間にとっては、これらの2つの要素ははっきりと異なっているが、 コンピュータビジョンにとっては、この二重性は重要な課題である。
-オブジェクトと概念の視覚的な外観は、作者の感情、社会的トレンド、芸術運動などを反映するスタイルによって調整されるため、コンテンツとスタイルの両方を扱う必要がある。
-芸術分析の一般的なパラダイムに向けた有望な一歩は、コンテンツとスタイルを解離することであり、芸術作品の1つの側面を選ぶ人間の注釈に依存すると、意味論的な概念と絵画の視覚的な外観を学ぶ上限がある。
-GOYAという方法を提案し、最近の生成モデルでキャプチャされた芸術的な知識を蒸留して、コンテンツとスタイルを解離する。
-実験の結果、合成された画像が本物の芸術作品の分布のプロキシとして十分に機能するため、GOYAは、既存の方法よりも多くの情報を保持しながら、芸術の2つの要素を分離して表現することができると示された。

要約(オリジナル)

The duality of content and style is inherent to the nature of art. For humans, these two elements are clearly different: content refers to the objects and concepts in the piece of art, and style to the way it is expressed. This duality poses an important challenge for computer vision. The visual appearance of objects and concepts is modulated by the style that may reflect the author’s emotions, social trends, artistic movement, etc., and their deep comprehension undoubtfully requires to handle both. A promising step towards a general paradigm for art analysis is to disentangle content and style, whereas relying on human annotations to cull a single aspect of artworks has limitations in learning semantic concepts and the visual appearance of paintings. We thus present GOYA, a method that distills the artistic knowledge captured in a recent generative model to disentangle content and style. Experiments show that synthetically generated images sufficiently serve as a proxy of the real distribution of artworks, allowing GOYA to separately represent the two elements of art while keeping more information than existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI