Style-based Clustering of Visual Artworks and the Play of Neural Style-Representations

要約

スタイルに基づく芸術作品のクラスタリングは、芸術作品の推薦、スタイルに基づく検索と検索、芸術家または芸術作品コーパスの芸術的スタイルの進化の研究など、多くの潜在的な実世界への応用が可能である。本論文では、「視覚芸術作品のスタイルに基づくクラスタリング」という概念を紹介し、考察する。スタイルに基づく芸術作品のクラスタリングは、ほとんど未解決の問題であると主張する。我々は、スタイル分類、スタイル変換から大規模な言語視覚モデルまで、スタイルに基づくクラスタリングに使用できるさまざまな神経特徴表現を探求し、考案する。我々の目的は、複数のアートワークコーパスとキュレーションされた合成スタイルデータセットに適用することにより、定性的および定量的な分析を通じて、これらの考案されたスタイルベースのクラスタリングアプローチの相対的な有効性を評価することである。スタイルベースのクラスタリングと評価のための広範なフレームワークを提供するだけでなく、我々の分析は、特徴表現、アーキテクチャ、およびスタイルベースのクラスタリングの意味合いに関するいくつかの重要な新しい洞察を提供する。

要約(オリジナル)

Clustering artworks based on style can have many potential real-world applications like art recommendations, style-based search and retrieval, and the study of artistic style evolution of an artist or in an artwork corpus. We introduce and deliberate over the notion of ‘Style-based clustering of visual artworks’. We argue that clustering artworks based on style is largely an unaddressed problem. We explore and devise different neural feature representations – from the style-classification, style-transfer to large language vision models – that can be then used for style-based clustering. Our objective is to assess the relative effectiveness of these devised style-based clustering approaches through qualitative and quantitative analysis by applying them to multiple artwork corpora and curated synthetically styled datasets. Besides providing a broad framework for style-based clustering and evaluation, our analysis provides some key novel insights on feature representations, architectures and implications for style-based clustering.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL