ICC++: Explainable Image Retrieval for Art Historical Corpora using Image Composition Canvas

要約

画像の構成は、画像の構造の研究に役立ち、アートの形式やスタイル全体で描かれている基礎となるシーンのセマンティクスを発見するのに役立ちます。
近年のアートワークのデジタル化により、特定のシーンや物語の何千もの画像が相互にリンクされる可能性があります。
ただし、このデータを一貫した客観性で手動でリンクすることは、非常に困難で時間のかかる作業になる可能性があります。
この作業では、類似した構図要素を持つ画像を比較および取得するための画像構図キャンバス（ICC ++）と呼ばれる新しいアプローチを紹介します。
ICC ++は、Max Imdahlの作業によって動機付けられた低レベルおよび高レベルの機能（構成要素）の生成に特化したICCを改良したものです。
この目的のために、私たちは、私たちのアプローチと従来の最先端（SOTA）の方法との厳密な定量的および定性的な比較を提示し、提案された方法がそれらすべてよりも優れていることを示します。
ディープ機能と組み合わせることで、私たちの方法は、最高のディープラーニングベースの方法よりも優れており、デジタルヒューマニティーズのための説明可能な機械学習の研究の方向性を開きます。
コードとデータは公開後にリリースされます。

要約(オリジナル)

Image compositions are helpful in the study of image structures and assist in discovering the semantics of the underlying scene portrayed across art forms and styles. With the digitization of artworks in recent years, thousands of images of a particular scene or narrative could potentially be linked together. However, manually linking this data with consistent objectiveness can be a highly challenging and time-consuming task. In this work, we present a novel approach called Image Composition Canvas (ICC++) to compare and retrieve images having similar compositional elements. ICC++ is an improvement over ICC specializing in generating low and high-level features (compositional elements) motivated by Max Imdahl’s work. To this end, we present a rigorous quantitative and qualitative comparison of our approach with traditional and state-of-the-art (SOTA) methods showing that our proposed method outperforms all of them. In combination with deep features, our method outperforms the best deep learning-based method, opening the research direction for explainable machine learning for digital humanities. We will release the code and the data post-publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google