Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives

要約

多様で大規模なマルチモーダル マルチビュー ビデオ データセットとベンチマークの課題である Ego-Exo4D を紹介します。
Ego-Exo4D は、熟練した人間の活動 (スポーツ、音楽、ダンス、自転車修理など) を同時に撮影した自己中心的ビデオと外部中心的ビデオを中心としています。
世界 13 都市からの 800 人以上の参加者が、131 の異なる自然シーンのコンテキストでこれらのアクティビティを実行し、それぞれ 1 ~ 42 分の長い形式のキャプチャと合計 1,422 時間のビデオを生成しました。
データセットのマルチモーダルな性質は前例のないものです。ビデオには、マルチチャンネルオーディオ、視線、3D 点群、カメラポーズ、IMU、および複数のペアの言語記述が伴います。これには、コーチや教師によって行われ、カスタマイズされた新しい「専門家解説」が含まれます。
熟練活動領域へ。
熟練した人間のアクティビティを一人称ビデオで理解する最前線を開拓するために、きめ細かいアクティビティの理解、熟練度の推定、クロスビューの変換、3D 手/体のポーズなど、一連のベンチマーク タスクとその注釈も提示します。
コミュニティでの新しい研究を促進するために、すべてのリソースがオープンソースになります。

要約(オリジナル)

We present Ego-Exo4D, a diverse, large-scale multimodal multiview video dataset and benchmark challenge. Ego-Exo4D centers around simultaneously-captured egocentric and exocentric video of skilled human activities (e.g., sports, music, dance, bike repair). More than 800 participants from 13 cities worldwide performed these activities in 131 different natural scene contexts, yielding long-form captures from 1 to 42 minutes each and 1,422 hours of video combined. The multimodal nature of the dataset is unprecedented: the video is accompanied by multichannel audio, eye gaze, 3D point clouds, camera poses, IMU, and multiple paired language descriptions — including a novel ‘expert commentary’ done by coaches and teachers and tailored to the skilled-activity domain. To push the frontier of first-person video understanding of skilled human activity, we also present a suite of benchmark tasks and their annotations, including fine-grained activity understanding, proficiency estimation, cross-view translation, and 3D hand/body pose. All resources will be open sourced to fuel new research in the community.

arxiv情報

著者 Kristen Grauman,Andrew Westbury,Lorenzo Torresani,Kris Kitani,Jitendra Malik,Triantafyllos Afouras,Kumar Ashutosh,Vijay Baiyya,Siddhant Bansal,Bikram Boote,Eugene Byrne,Zach Chavis,Joya Chen,Feng Cheng,Fu-Jen Chu,Sean Crane,Avijit Dasgupta,Jing Dong,Maria Escobar,Cristhian Forigua,Abrham Gebreselasie,Sanjay Haresh,Jing Huang,Md Mohaiminul Islam,Suyog Jain,Rawal Khirodkar,Devansh Kukreja,Kevin J Liang,Jia-Wei Liu,Sagnik Majumder,Yongsen Mao,Miguel Martin,Effrosyni Mavroudi,Tushar Nagarajan,Francesco Ragusa,Santhosh Kumar Ramakrishnan,Luigi Seminara,Arjun Somayazulu,Yale Song,Shan Su,Zihui Xue,Edward Zhang,Jinxu Zhang,Angela Castillo,Changan Chen,Xinzhu Fu,Ryosuke Furuta,Cristina Gonzalez,Prince Gupta,Jiabo Hu,Yifei Huang,Yiming Huang,Weslie Khoo,Anush Kumar,Robert Kuo,Sach Lakhavani,Miao Liu,Mi Luo,Zhengyi Luo,Brighid Meredith,Austin Miller,Oluwatumininu Oguntola,Xiaqing Pan,Penny Peng,Shraman Pramanick,Merey Ramazanova,Fiona Ryan,Wei Shan,Kiran Somasundaram,Chenan Song,Audrey Southerland,Masatoshi Tateno,Huiyu Wang,Yuchen Wang,Takuma Yagi,Mingfei Yan,Xitong Yang,Zecheng Yu,Shengxin Cindy Zha,Chen Zhao,Ziwei Zhao,Zhifan Zhu,Jeff Zhuo,Pablo Arbelaez,Gedas Bertasius,David Crandall,Dima Damen,Jakob Engel,Giovanni Maria Farinella,Antonino Furnari,Bernard Ghanem,Judy Hoffman,C. V. Jawahar,Richard Newcombe,Hyun Soo Park,James M. Rehg,Yoichi Sato,Manolis Savva,Jianbo Shi,Mike Zheng Shou,Michael Wray
発行日 2023-12-14 17:34:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV パーマリンク