Unveiling the Mystery of Visual Attributes of Concrete and Abstract Concepts: Variability, Nearest Neighbors, and Challenging Categories

要約

概念の視覚的表現は、その意味とそれが発生する文脈に応じて大きく異なります。
これは、視覚モデルとマルチモーダル モデルの両方に複数の課題をもたらします。
私たちの研究は、視覚的表現の変動性を調べるためのケーススタディとして、よく研究されている語彙意味論的変数である具体性に焦点を当てています。
私たちは、Bing と YFCC という 2 つの異なるデータセットから抽出された約 1,000 の抽象的および具体的な概念に関連付けられた画像に依存しています。
私たちの目標は次のとおりです。(i) 概念の描写における視覚的多様性が具体的な概念と抽象的な概念を確実に区別できるかどうかを評価する。
(ii) 最近傍分析を通じて、同じ概念の複数の画像にわたる視覚的特徴の変動性を分析する。
(iii) 画像を分類し、注釈を付けることで、この変動に寄与する困難な要因を特定します。
私たちの調査結果は、抽象概念と具体概念の画像を分類するには、Vision Transformer (ViT) のようなより複雑なモデルによって抽出された特徴よりも、色やテクスチャなどの基本的な視覚特徴の組み合わせの方が効果的であることを示しています。
ただし、ViT は最近傍分析でより優れたパフォーマンスを示し、テキスト以外のモダリティを通じて概念的変数を分析する場合には、視覚的特徴を慎重に選択する必要があることが強調されています。

要約(オリジナル)

The visual representation of a concept varies significantly depending on its meaning and the context where it occurs; this poses multiple challenges both for vision and multimodal models. Our study focuses on concreteness, a well-researched lexical-semantic variable, using it as a case study to examine the variability in visual representations. We rely on images associated with approximately 1,000 abstract and concrete concepts extracted from two different datasets: Bing and YFCC. Our goals are: (i) evaluate whether visual diversity in the depiction of concepts can reliably distinguish between concrete and abstract concepts; (ii) analyze the variability of visual features across multiple images of the same concept through a nearest neighbor analysis; and (iii) identify challenging factors contributing to this variability by categorizing and annotating images. Our findings indicate that for classifying images of abstract versus concrete concepts, a combination of basic visual features such as color and texture is more effective than features extracted by more complex models like Vision Transformer (ViT). However, ViTs show better performances in the nearest neighbor analysis, emphasizing the need for a careful selection of visual features when analyzing conceptual variables through modalities other than text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google