DAiSEE: Towards User Engagement Recognition in the Wild

要約

DAiSEEを紹介します。これは、退屈、混乱、関与、および欲求不満のユーザーの感情的な状態を認識するために、112人のユーザーからキャプチャされた9068個のビデオスニペットで構成される最初のマルチラベルビデオ分類データセットです。
データセットには4つのレベルのラベルがあります。つまり、感情状態ごとに非常に低い、低い、高い、非常に高いラベルがあり、群衆に注釈が付けられ、専門の心理学者のチームを使用して作成されたゴールドスタンダードの注釈と関連付けられています。
また、現在利用可能な最先端のビデオ分類方法を使用して、このデータセットのベンチマーク結果を確立しました。
DAiSEEは、特徴抽出、コンテキストベースの推論、および関連するタスクに適した機械学習方法の開発における課題を研究コミュニティに提供し、さらなる研究の出発点となると信じています。
データセットは、https：//people.iith.ac.in/vineethnb/resources/daisee/index.htmlからダウンロードできます。

要約(オリジナル)

We introduce DAiSEE, the first multi-label video classification dataset comprising of 9068 video snippets captured from 112 users for recognizing the user affective states of boredom, confusion, engagement, and frustration in the wild. The dataset has four levels of labels namely – very low, low, high, and very high for each of the affective states, which are crowd annotated and correlated with a gold standard annotation created using a team of expert psychologists. We have also established benchmark results on this dataset using state-of-the-art video classification methods that are available today. We believe that DAiSEE will provide the research community with challenges in feature extraction, context-based inference, and development of suitable machine learning methods for related tasks, thus providing a springboard for further research. The dataset is available for download at https://people.iith.ac.in/vineethnb/resources/daisee/index.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google