Exploiting CLIP-based Multi-modal Approach for Artwork Classification and Retrieval

要約

マルチモーダル画像事前トレーニングの最近の進歩を考慮して、意味論的に高密度のテキスト監視でトレーニングされたビジュアル モデルは、カテゴリ属性または教師なし手法を使用してトレーニングされたビジュアル モデルよりも一般化機能が優れている傾向があることを考慮して、この研究では、最新の CLIP モデルをいくつかのタスクにどのように適用できるかを調査します。
アートワークのドメイン。
私たちは、Web 上の公開リソースからクロールされたアートワーク画像のデータセットである NoisyArt データセットに対して徹底的な実験を実行します。
このようなデータセットでは、CLIP は (ゼロショット) 分類で印象的な結果を達成し、アートワークからアートワークと説明からアートワークの両方の領域で有望な結果を達成します。

要約(オリジナル)

Given the recent advances in multimodal image pretraining where visual models trained with semantically dense textual supervision tend to have better generalization capabilities than those trained using categorical attributes or through unsupervised techniques, in this work we investigate how recent CLIP model can be applied in several tasks in artwork domain. We perform exhaustive experiments on the NoisyArt dataset which is a dataset of artwork images crawled from public resources on the web. On such dataset CLIP achieves impressive results on (zero-shot) classification and promising results in both artwork-to-artwork and description-to-artwork domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google