FolkTalent: Enhancing Classification and Tagging of Indian Folk Paintings

要約

インドの民俗絵画には、シンボル、色、質感、物語の豊かなモザイクがあり、文化遺産の貴重な宝庫となっています。
この論文は、これらの絵画を異なる芸術形式に分類し、それらに独自の顕著な特徴をタグ付けするための新しいアプローチを示しています。
FolkTalent という名前のカスタム データセットは、12 の異なる形式にわたる絵画の 2,279 枚のデジタル画像で構成されており、インドの民俗絵画を直接公開する Web サイトを使用して作成されました。
色、テーマ、芸術的スタイル、パターンなどの幅広い属性をカバーするタグが GPT4 を使用して生成され、各絵画について専門家によって検証されます。
分類は、微調整された畳み込みニューラル ネットワーク (CNN) モデルに対して RandomForest アンサンブル手法を使用して実行され、インドの民俗絵画を分類し、91.83% の精度を達成しました。
タグ付けは、マルチラベル画像分類を実行するためにその上部に接続されたカスタム分類子を備えた、優れた微調整された CNN ベースのバックボーンを介して実行されます。
生成されたタグは絵画についてのより深い洞察を提供し、テーマと視覚的属性に基づいた強化された検索エクスペリエンスを可能にします。
提案されたハイブリッド モデルは、民俗絵画の分類とタグ付けにおける新しいベンチマークを設定し、インドの民俗芸術遺産のカタログ化に大きく貢献します。

要約(オリジナル)

Indian folk paintings have a rich mosaic of symbols, colors, textures, and stories making them an invaluable repository of cultural legacy. The paper presents a novel approach to classifying these paintings into distinct art forms and tagging them with their unique salient features. A custom dataset named FolkTalent, comprising 2279 digital images of paintings across 12 different forms, has been prepared using websites that are direct outlets of Indian folk paintings. Tags covering a wide range of attributes like color, theme, artistic style, and patterns are generated using GPT4, and verified by an expert for each painting. Classification is performed employing the RandomForest ensemble technique on fine-tuned Convolutional Neural Network (CNN) models to classify Indian folk paintings, achieving an accuracy of 91.83%. Tagging is accomplished via the prominent fine-tuned CNN-based backbones with a custom classifier attached to its top to perform multi-label image classification. The generated tags offer a deeper insight into the painting, enabling an enhanced search experience based on theme and visual attributes. The proposed hybrid model sets a new benchmark in folk painting classification and tagging, significantly contributing to cataloging India’s folk-art heritage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google