ARTxAI: Explainable Artificial Intelligence Curates Deep Representation Learning for Artistic Images using Fuzzy Techniques

要約

自動アート分析では、さまざまな画像処理技術を使用して、芸術作品を分類および分類します。
芸術的な画像を扱う場合は、従来の画像処理と比較してさらに考慮する必要があります。
なぜなら、こうした芸術的な絵画は、作者や描かれた場面、画風によって大きく変化するからです。
その結果、特定のタスクでは非常にうまく機能する機能であっても、絵画に含まれる視覚的および象徴的な情報全体を把握できない可能性があります。
この論文では、芸術的画像分類のさまざまなタスクから得られた特徴が、同様の性質の他のタスクを解決するのにどのように適しているかを示します。
芸術的分類システムの一般化機能とパフォーマンスを向上させるさまざまな方法を紹介します。
さらに、画像の既知の視覚的特徴を、ファジィルールを考慮した深層学習モデルで使用される特徴にマッピングする説明可能な人工知能手法を提案します。
これらのルールは、各タスクの解決に関連するパターンと変数、および見つかった各パターンがどの程度効果的であるかを示します。
私たちの結果は、提案したコンテキスト認識機能が、特定のタスクに応じて、他のコンテキスト認識ソリューションおよび非コンテキスト認識ソリューションよりも、それぞれ最大 $6\%$ および $26\%$ 高い精度の結果を達成できることを示しています。
また、これらのモデルで使用される特徴の一部は、他の特徴よりも元の画像の視覚的特徴とより明確に相関できることも示します。

要約(オリジナル)

Automatic art analysis employs different image processing techniques to classify and categorize works of art. When working with artistic images, we need to take into account further considerations compared to classical image processing. This is because such artistic paintings change drastically depending on the author, the scene depicted, and their artistic style. This can result in features that perform very well in a given task but do not grasp the whole of the visual and symbolic information contained in a painting. In this paper, we show how the features obtained from different tasks in artistic image classification are suitable to solve other ones of similar nature. We present different methods to improve the generalization capabilities and performance of artistic classification systems. Furthermore, we propose an explainable artificial intelligence method to map known visual traits of an image with the features used by the deep learning model considering fuzzy rules. These rules show the patterns and variables that are relevant to solve each task and how effective is each of the patterns found. Our results show that our proposed context-aware features can achieve up to $6\%$ and $26\%$ more accurate results than other context- and non-context-aware solutions, respectively, depending on the specific task. We also show that some of the features used by these models can be more clearly correlated to visual traits in the original image than others.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google