EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams

要約

単眼の自己中心的な 3D ヒューマン モーション キャプチャは、挑戦的な問題であり、積極的に研究されています。
既存の方法は、同期して動作する視覚センサー (RGB カメラなど) を使用しており、暗い照明や速い動きの下では失敗することが多く、ヘッドマウント デバイスを含む多くのアプリケーションでは制限となる可能性があります。
既存の制限に対応して、この論文では、1) 新しい問題、つまり魚眼レンズを備えた自己中心的な単眼イベント カメラからの 3D 人間のモーション キャプチャを導入し、2) EventEgo3D (EE3D) と呼ばれるそれに対する最初のアプローチを提案します。
イベント ストリームは高い時間解像度を備えており、高速の人間の動きや急速に変化する照明の下で 3D ヒューマン モーション キャプチャに信頼性の高い手がかりを提供します。
提案された EE3D フレームワークは、LNES 表現のイベント ストリームを使用した学習に特化して調整されており、高い 3D 再構成精度が可能になります。
また、イベント カメラを備えたモバイル ヘッドマウント デバイスのプロトタイプを設計し、(合成データセットに加えて) イベント観察とグラウンド トゥルース 3D 人間のポーズを含む実際のデータセットを記録します。
当社の EE3D は、140Hz のリアルタイム 3D ポーズ更新レートをサポートしながら、さまざまな困難な実験にわたって既存のソリューションと比較して堅牢性と優れた 3D 精度を実証します。

要約(オリジナル)

Monocular egocentric 3D human motion capture is a challenging and actively researched problem. Existing methods use synchronously operating visual sensors (e.g. RGB cameras) and often fail under low lighting and fast motions, which can be restricting in many applications involving head-mounted devices. In response to the existing limitations, this paper 1) introduces a new problem, i.e., 3D human motion capture from an egocentric monocular event camera with a fisheye lens, and 2) proposes the first approach to it called EventEgo3D (EE3D). Event streams have high temporal resolution and provide reliable cues for 3D human motion capture under high-speed human motions and rapidly changing illumination. The proposed EE3D framework is specifically tailored for learning with event streams in the LNES representation, enabling high 3D reconstruction accuracy. We also design a prototype of a mobile head-mounted device with an event camera and record a real dataset with event observations and the ground-truth 3D human poses (in addition to the synthetic dataset). Our EE3D demonstrates robustness and superior 3D accuracy compared to existing solutions across various challenging experiments while supporting real-time 3D pose update rates of 140Hz.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google