Art Authentication with Vision Transformers

要約

近年、当初は言語用に開発されたトランスフォーマーが、視覚的なタスクに適用されることに成功しました。
Vision Transformers は、画像分類、オブジェクト検出、セマンティック セグメンテーションなどの幅広いタスクで最先端の技術を推進することが示されています。
畳み込みニューラル ネットワークを使用した芸術の帰属および芸術認証タスクにおける有望な結果は十分な研究によって示されていますが、この論文では、Vision Transformers の優位性が芸術認証にも拡張され、それによってコンピュータベースの芸術作品認証の信頼性が向上するかどうかを検討します。
ヴィンセント・ファン・ゴッホの本物の絵画の慎重に編集されたデータセットと 2 つのコントラスト データセットを使用して、Swin Transformers の芸術認証パフォーマンスを EfficientNet の芸術認証パフォーマンスと比較します。
模倣とプロキシ (ゴッホに密接に関連したスタイルを持つ画家による作品) を含む標準のコントラスト セットを使用すると、EfficientNet が全体的に最高のパフォーマンスを達成することがわかりました。
模倣品のみで構成されるコントラスト セットでは、Swin Transformer が 85% 以上の認証精度を達成し、EfficientNet よりも優れていることがわかります。
これらの結果から、ビジョン トランスフォーマーは芸術品の認証、特に芸術的な模倣品を検出するコンピュータ ベースの能力の強化において強力かつ有望な候補者であるとの結論に至りました。

要約(オリジナル)

In recent years, Transformers, initially developed for language, have been successfully applied to visual tasks. Vision Transformers have been shown to push the state-of-the-art in a wide range of tasks, including image classification, object detection, and semantic segmentation. While ample research has shown promising results in art attribution and art authentication tasks using Convolutional Neural Networks, this paper examines if the superiority of Vision Transformers extends to art authentication, improving, thus, the reliability of computer-based authentication of artworks. Using a carefully compiled dataset of authentic paintings by Vincent van Gogh and two contrast datasets, we compare the art authentication performances of Swin Transformers with those of EfficientNet. Using a standard contrast set containing imitations and proxies (works by painters with styles closely related to van Gogh), we find that EfficientNet achieves the best performance overall. With a contrast set that only consists of imitations, we find the Swin Transformer to be superior to EfficientNet by achieving an authentication accuracy of over 85%. These results lead us to conclude that Vision Transformers represent a strong and promising contender in art authentication, particularly in enhancing the computer-based ability to detect artistic imitations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google