Have Large Vision-Language Models Mastered Art History?

要約

最近、大規模な視覚言語モデル (VLM) の出現により、複数のドメインにわたる画像分類における新しいベースラインが確立されました。
しかし、芸術作品分類という特定のタスク、特に絵画の芸術スタイル分類（伝統的に美術史家が習得してきた領域）における VLM のパフォーマンスはまだ調査されていません。
芸術作品は、本質的に複雑で多様な構造を持ち、さまざまな構成やスタイルを特徴とするため、自然画像と比較して独特の課題を抱えています。
美術史家は、スタイルの予測を専門分野の重要な要素として、芸術作品のユニークな側面を長年研究してきました。
この論文では、視覚データとテキストデータを統合する大規模な VLM が絵画の美術史的属性を効果的に予測できるかどうかを調査します。
私たちは、芸術作品の 2 つの公開ベンチマークを使用して、芸術スタイル、作者、および時代のゼロショット分類に焦点を当てて、4 つの VLM、つまり CLIP、LLaVA、OpenFlamingo、および GPT-4o の詳細な分析を実行します。
さらに、美術史家によって研究された重要な絵画を含む、芸術作品の厳選されたテスト セットである ArTest も紹介します。

要約(オリジナル)

The emergence of large Vision-Language Models (VLMs) has recently established new baselines in image classification across multiple domains. However, the performance of VLMs in the specific task of artwork classification, particularly art style classification of paintings – a domain traditionally mastered by art historians – has not been explored yet. Artworks pose a unique challenge compared to natural images due to their inherently complex and diverse structures, characterized by variable compositions and styles. Art historians have long studied the unique aspects of artworks, with style prediction being a crucial component of their discipline. This paper investigates whether large VLMs, which integrate visual and textual data, can effectively predict the art historical attributes of paintings. We conduct an in-depth analysis of four VLMs, namely CLIP, LLaVA, OpenFlamingo, and GPT-4o, focusing on zero-shot classification of art style, author and time period using two public benchmarks of artworks. Additionally, we present ArTest, a well-curated test set of artworks, including pivotal paintings studied by art historians.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google