Neuromorphic High-Frequency 3D Dancing Pose Estimation in Dynamic Environment

要約

世界中で愛されているスポーツとして、ダンスは現在、従来の仮想現実ベースのゲーム プラットフォームに統合されています。
テクノロジーを介したダンス空間に新たな可能性を切り開きます。
これらのプラットフォームは、入力キャプチャ メカニズムとして、主に受動的かつ継続的な人間の姿勢推定に依存しています。
既存のソリューションは、主にダンス ゲーム用の RGB または RGB-Depth カメラに基づいています。
前者は、モーション ブラーと低感度のために低照度条件で問題を抱えていますが、後者は電力を大量に消費し、フレーム レートが低く、作動距離が限られています。
超低遅延、エネルギー効率、および広いダイナミック レンジ特性を備えたイベント カメラは、これらの欠点を克服するための有望なソリューションです。
YeLan は、低照度条件と動的背景に耐えるイベント カメラ ベースの 3 次元高周波人間姿勢推定 (HPE) システムです。
世界初のイベント カメラ ダンス データセットを収集し、完全にカスタマイズ可能なモーションからイベントへの物理学を考慮したシミュレーターを開発しました。
YeLan は、これらの困難な状況でベースライン モデルを上回り、さまざまな種類の衣類、背景の動き、視野角、遮蔽、および照明の変動に対して堅牢性を示しました。

要約(オリジナル)

As a beloved sport worldwide, dancing is getting integrated into traditional and virtual reality-based gaming platforms nowadays. It opens up new opportunities in the technology-mediated dancing space. These platforms primarily rely on passive and continuous human pose estimation as an input capture mechanism. Existing solutions are mainly based on RGB or RGB-Depth cameras for dance games. The former suffers in low-lighting conditions due to the motion blur and low sensitivity, while the latter is too power-hungry, has a low frame rate, and has limited working distance. With ultra-low latency, energy efficiency, and wide dynamic range characteristics, the event camera is a promising solution to overcome these shortcomings. We propose YeLan, an event camera-based 3-dimensional high-frequency human pose estimation(HPE) system that survives low-lighting conditions and dynamic backgrounds. We collected the world’s first event camera dance dataset and developed a fully customizable motion-to-event physics-aware simulator. YeLan outperforms the baseline models in these challenging conditions and demonstrated robustness against different types of clothing, background motion, viewing angle, occlusion, and lighting fluctuations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google