EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes

要約

視覚感情分析 (VEA) は、視覚刺激に対する人々の感情反応を予測することを目的としています。
これは、近年ますます注目を集めている感情コンピューティングにおいて、有望ではあるものの挑戦的なタスクです。
この分野の既存の研究のほとんどは特徴設計に焦点を当てていますが、データセットの構築にはほとんど注意が払われていません。
この研究では、豊富な属性で注釈が付けられた初の大規模視覚感情データセットである EmoSet を紹介します。これは、スケール、注釈の豊富さ、多様性、データ バランスの 4 つの側面で既存のデータセットよりも優れています。
EmoSet は合計 330 万枚の画像で構成されており、そのうち 118,102 枚の画像は人間のアノテーターによって慎重にラベル付けされており、既存の最大のデータセットの 5 倍の大きさになります。
EmoSet には、芸術的な画像だけでなくソーシャル ネットワークからの画像も含まれており、さまざまな感情カテゴリの間でバランスが取れています。
心理学研究に基づいて、各画像には、感情のカテゴリに加えて、明るさ、カラフルさ、シーンの種類、オブジェクトのクラス、顔の表情、人間の動作など、説明可能な一連の感情属性の注釈も付けられます。これは、視覚的な感情を正確に理解するのに役立ちます。
そして解釈可能な方法。
これらの感情属性の関連性は、感情属性と視覚的感情の間の相関関係を分析し、視覚的感情の認識を支援する属性モジュールを設計することによって検証されます。
私たちは、EmoSet がいくつかの重要な洞察をもたらし、視覚的感情の分析と理解におけるさらなる研究を促進すると信じています。
プロジェクトページ: https://vcc.tech/EmoSet。

要約(オリジナル)

Visual Emotion Analysis (VEA) aims at predicting people’s emotional responses to visual stimuli. This is a promising, yet challenging, task in affective computing, which has drawn increasing attention in recent years. Most of the existing work in this area focuses on feature design, while little attention has been paid to dataset construction. In this work, we introduce EmoSet, the first large-scale visual emotion dataset annotated with rich attributes, which is superior to existing datasets in four aspects: scale, annotation richness, diversity, and data balance. EmoSet comprises 3.3 million images in total, with 118,102 of these images carefully labeled by human annotators, making it five times larger than the largest existing dataset. EmoSet includes images from social networks, as well as artistic images, and it is well balanced between different emotion categories. Motivated by psychological studies, in addition to emotion category, each image is also annotated with a set of describable emotion attributes: brightness, colorfulness, scene type, object class, facial expression, and human action, which can help understand visual emotions in a precise and interpretable way. The relevance of these emotion attributes is validated by analyzing the correlations between them and visual emotion, as well as by designing an attribute module to help visual emotion recognition. We believe EmoSet will bring some key insights and encourage further research in visual emotion analysis and understanding. Project page: https://vcc.tech/EmoSet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google