Synthetic images aid the recognition of human-made art forgeries

要約

これまでの研究では、十分なトレーニングがあれば、人工知能は特定の芸術家による本物の絵画と人間が作った贋作を驚くべき精度で区別できることが示されています。
しかし、既存の既知の偽造品の量が限られているため、偽造品検出のための増強方法が非常に望まれています。
この研究では、合成アートワークをトレーニング データセットに組み込んで偽造検出のパフォーマンスを向上させる可能性を検討します。
私たちの調査はフィンセント・ファン・ゴッホの絵画に焦点を当てており、偽造検出に特化した最初のデータセットをリリースしています。
私たちの結果を補強するために、アーティストのアメデオ モディリアーニとラファエロについても同じ分析を実施しました。
オリジナルの芸術作品と偽造作品を区別するための分類器をトレーニングします。
このために、有名なアーティストのスタイルで人為的に作られた偽造品や模倣品を使用し、Stable Diffusion と StyleGAN によって生成された同様のスタイルの画像でトレーニング セットを強化します。
追加の合成偽造により、人為的な偽造の検出が一貫して向上していることがわかりました。
さらに、以前の研究と同様に、トレーニングに合成偽造を含めることで、特に同様のジェネレーターを使用して作成された場合、AI によって生成された偽造の検出も可能になることがわかりました。

要約(オリジナル)

Previous research has shown that Artificial Intelligence is capable of distinguishing between authentic paintings by a given artist and human-made forgeries with remarkable accuracy, provided sufficient training. However, with the limited amount of existing known forgeries, augmentation methods for forgery detection are highly desirable. In this work, we examine the potential of incorporating synthetic artworks into training datasets to enhance the performance of forgery detection. Our investigation focuses on paintings by Vincent van Gogh, for which we release the first dataset specialized for forgery detection. To reinforce our results, we conduct the same analyses on the artists Amedeo Modigliani and Raphael. We train a classifier to distinguish original artworks from forgeries. For this, we use human-made forgeries and imitations in the style of well-known artists and augment our training sets with images in a similar style generated by Stable Diffusion and StyleGAN. We find that the additional synthetic forgeries consistently improve the detection of human-made forgeries. In addition, we find that, in line with previous research, the inclusion of synthetic forgeries in the training also enables the detection of AI-generated forgeries, especially if created using a similar generator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google