The Visual Experience Dataset: Over 200 Recorded Hours of Integrated Eye Movement, Odometry, and Egocentric Video

要約

私たちは、240 時間以上の自己中心的なビデオを視線および頭部追跡データと組み合わせて編集した Visual Experience Dataset (VEDB) を紹介します。これは、人間の観察者が経験するような視覚世界の前例のないビューを提供します。
データセットは、6 ～ 49 歳の 58 人の観察者によって記録された 717 のセッションで構成されています。
このペーパーでは、代表的なサンプルを確保するために行われるデータ収集、処理、およびラベル付けプロトコルの概要を説明し、データセット内の潜在的なエラーまたはバイアスの原因について説明します。
VEDB の潜在的な用途は、視線追跡手法の改善、時空間画像統計の評価、シーンとアクティビティ認識のためのディープ ニューラル ネットワークの改良など、広大です。
VEDB は、確立されたオープン サイエンス プラットフォームを通じてアクセスでき、拡張とコミュニティへの貢献を計画した生きたデータセットとなることを目的としています。
参加者のプライバシーや潜在的な偏見の軽減などの倫理的配慮に重点を置いてリリースされています。
著者らは、実世界の経験に基づいた広範なメタデータとサポート コードを伴うデータセットを提供することで、研究コミュニティに VEDB の利用と貢献を促し、自然主義的な環境における視覚認識と行動のより豊かな理解を促進します。

要約(オリジナル)

We introduce the Visual Experience Dataset (VEDB), a compilation of over 240 hours of egocentric video combined with gaze- and head-tracking data that offers an unprecedented view of the visual world as experienced by human observers. The dataset consists of 717 sessions, recorded by 58 observers ranging from 6-49 years old. This paper outlines the data collection, processing, and labeling protocols undertaken to ensure a representative sample and discusses the potential sources of error or bias within the dataset. The VEDB’s potential applications are vast, including improving gaze tracking methodologies, assessing spatiotemporal image statistics, and refining deep neural networks for scene and activity recognition. The VEDB is accessible through established open science platforms and is intended to be a living dataset with plans for expansion and community contributions. It is released with an emphasis on ethical considerations, such as participant privacy and the mitigation of potential biases. By providing a dataset grounded in real-world experiences and accompanied by extensive metadata and supporting code, the authors invite the research community to utilize and contribute to the VEDB, facilitating a richer understanding of visual perception and behavior in naturalistic settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google