For a semiotic AI: Bridging computer vision and visual semiotics for computational observation of large scale facial image archives

要約

ソーシャル ネットワークは、人間の顔や体の画像の認知的、感情的、実用的な価値がおそらく変化しているデジタル世界を生み出しています。
しかし、デジタル人文科学の研究者は、これらの現象を大規模に研究するための設備が整っていないことがよくあります。
この研究では、ソーシャル メディア プラットフォーム上の画像の社会文化的意味を大規模に調査するために設計されたフレームワークである FRESCO (Face Representation in E-Societies through Computational Observation) を紹介します。
FRESCO は、視覚記号論の原理に沿った最先端のコンピューター ビジョン技術を使用して、画像を数値変数とカテゴリ変数に分解します。
このフレームワークは、3 つのレベルにわたって画像を分析します。1 つは線や色などの基本的な視覚的特徴を含むプラスチック レベルです。
比喩的なレベル。特定の実体または概念を表します。
そして、特に観客と観察者の視点を構築することに焦点を当てた発声レベル。
これらのレベルは、画像内のより深い物語の層を識別するために分析されます。
実験による検証により、FRESCO の信頼性と有用性が確認され、2 つの公開データセットにわたるその一貫性と精度が評価されます。
続いて、画像コンテンツの類似性の信頼できる尺度として機能する、フレームワークの出力から得られる指標である FRESCO スコアを導入します。

要約(オリジナル)

Social networks are creating a digital world in which the cognitive, emotional, and pragmatic value of the imagery of human faces and bodies is arguably changing. However, researchers in the digital humanities are often ill-equipped to study these phenomena at scale. This work presents FRESCO (Face Representation in E-Societies through Computational Observation), a framework designed to explore the socio-cultural implications of images on social media platforms at scale. FRESCO deconstructs images into numerical and categorical variables using state-of-the-art computer vision techniques, aligning with the principles of visual semiotics. The framework analyzes images across three levels: the plastic level, encompassing fundamental visual features like lines and colors; the figurative level, representing specific entities or concepts; and the enunciation level, which focuses particularly on constructing the point of view of the spectator and observer. These levels are analyzed to discern deeper narrative layers within the imagery. Experimental validation confirms the reliability and utility of FRESCO, and we assess its consistency and precision across two public datasets. Subsequently, we introduce the FRESCO score, a metric derived from the framework’s output that serves as a reliable measure of similarity in image content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google