Fine-grained Activities of People Worldwide

要約

人間は毎日、シャツを着るかジャケットを着るか、握手するかハイタッチするかなど、微妙な識別動作を含む多くの密接に関連した活動を行っています。
倫理的な視覚的 AI による活動認識は、日常生活のパターンへの洞察を提供する可能性がありますが、既存の活動認識データセットは、世界中のこれらの人間の活動の膨大な多様性を捉えていません。
この制限に対処するために、オブジェクトと同意された被験者の活動に同時に注釈を付けながらビデオを録画するための無料のモバイルアプリである Collector を導入しました。
この新しいデータ収集プラットフォームは、世界中の人々の最初の大規模できめ細かい活動データセットである、人々の同意された活動 (CAP) データセットをキュレートするために使用されました。
CAP データセットには、33 か国の 780 人の被験者によって収集された、日常生活の 512 のきめの細かい活動ラベルの 145 万のビデオ クリップが含まれています。
このデータセットのアクティビティ分類とアクティビティ検出ベンチマークを提供し、ベースライン結果を分析して、世界中の人々が一般的なアクティビティをどのように実行しているかについての洞察を得ます。
データセット、ベンチマーク、評価ツール、公開リーダーボード、およびモバイル アプリは、visym.github.io/cap で使用できます。

要約(オリジナル)

Every day, humans perform many closely related activities that involve subtle discriminative motions, such as putting on a shirt vs. putting on a jacket, or shaking hands vs. giving a high five. Activity recognition by ethical visual AI could provide insights into our patterns of daily life, however existing activity recognition datasets do not capture the massive diversity of these human activities around the world. To address this limitation, we introduce Collector, a free mobile app to record video while simultaneously annotating objects and activities of consented subjects. This new data collection platform was used to curate the Consented Activities of People (CAP) dataset, the first large-scale, fine-grained activity dataset of people worldwide. The CAP dataset contains 1.45M video clips of 512 fine grained activity labels of daily life, collected by 780 subjects in 33 countries. We provide activity classification and activity detection benchmarks for this dataset, and analyze baseline results to gain insight into how people around with world perform common activities. The dataset, benchmarks, evaluation tools, public leaderboards and mobile apps are available for use at visym.github.io/cap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google