Learning Artistic Signatures: Symmetry Discovery and Style Transfer

要約

スタイルの伝達に関する文献は 10 年近くにもわたって存在していますが、芸術スタイルの議論の余地のない定義はありません。
最先端のモデルは印象的な結果を生み出しますが、スタイルの一貫した定義がなければ、スタイルの伝達の問題は本質的に不適切な設定となるため、解釈するのが困難です。
初期の研究では、スタイル転送を最適化問題として枠組み化していましたが、スタイルはテクスチャのみの尺度として扱われていました。
これにより、初期のモデルの出力にアーティファクトが発生し、スタイル イメージのコンテンツの特徴が出力イメージに混入することがありました。
逆に、拡散モデルを用いた最近の研究では、説得力のある経験的結果が得られていますが、理論的根拠はほとんど提供されていません。
これらの問題に対処するために、私たちは芸術スタイルの別の定義を提案します。
スタイルは、ローカル テクスチャの配置を決定する一連のグローバルな対称性として考える必要があることをお勧めします。
私たちは、絵画の大規模なデータセットの対称性を学習し、その対称性が各絵画が属する芸術的な動きを予測できることを示すことによって、この視点を経験的に検証します。
最後に、リー生成器と従来のテクスチャ測定の両方を使用して、ローカルとグローバルの両方の特徴を考慮することで、いずれかの特徴セットのみを使用するよりもアーティスト間のスタイルの類似性を定量的に捉えることができることを示します。
このアプローチは美術史家のコンセンサスとよく一致するだけでなく、微妙な文体の違いを区別するための堅牢な枠組みを提供し、スタイルの伝達に対するより解釈しやすく理論に基づいたアプローチを可能にします。

要約(オリジナル)

Despite nearly a decade of literature on style transfer, there is no undisputed definition of artistic style. State-of-the-art models produce impressive results but are difficult to interpret since, without a coherent definition of style, the problem of style transfer is inherently ill-posed. Early work framed style-transfer as an optimization problem but treated style as a measure only of texture. This led to artifacts in the outputs of early models where content features from the style image sometimes bled into the output image. Conversely, more recent work with diffusion models offers compelling empirical results but provides little theoretical grounding. To address these issues, we propose an alternative definition of artistic style. We suggest that style should be thought of as a set of global symmetries that dictate the arrangement of local textures. We validate this perspective empirically by learning the symmetries of a large dataset of paintings and showing that symmetries are predictive of the artistic movement to which each painting belongs. Finally, we show that by considering both local and global features, using both Lie generators and traditional measures of texture, we can quantitatively capture the stylistic similarity between artists better than with either set of features alone. This approach not only aligns well with art historians’ consensus but also offers a robust framework for distinguishing nuanced stylistic differences, allowing for a more interpretable, theoretically grounded approach to style transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google