要約
世界中で愛されているスポーツとして、ダンスは現在、従来の仮想現実ベースのゲーム プラットフォームに統合されています。
テクノロジーを介したダンス空間に新たな可能性を切り開きます。
これらのプラットフォームは、入力キャプチャ メカニズムとして、主に受動的かつ継続的な人間の姿勢推定に依存しています。
既存のソリューションは、主にダンス ゲーム用の RGB または RGB-Depth カメラに基づいています。
前者は、モーション ブラーと低感度のために低照度条件で問題を抱えていますが、後者は電力を大量に消費し、フレーム レートが低く、作動距離が限られています。
超低遅延、エネルギー効率、および広いダイナミック レンジ特性を備えたイベント カメラは、これらの欠点を克服するための有望なソリューションです。
YeLan は、低照度条件と動的背景に耐えるイベント カメラ ベースの 3 次元高周波人間姿勢推定 (HPE) システムです。
世界初のイベント カメラ ダンス データセットを収集し、完全にカスタマイズ可能なモーションからイベントへの物理学を考慮したシミュレーターを開発しました。
YeLan は、これらの困難な状況でベースライン モデルを上回り、さまざまな種類の衣類、背景の動き、視野角、遮蔽、および照明の変動に対して堅牢性を示しました。
要約(オリジナル)
As a beloved sport worldwide, dancing is getting integrated into traditional and virtual reality-based gaming platforms nowadays. It opens up new opportunities in the technology-mediated dancing space. These platforms primarily rely on passive and continuous human pose estimation as an input capture mechanism. Existing solutions are mainly based on RGB or RGB-Depth cameras for dance games. The former suffers in low-lighting conditions due to the motion blur and low sensitivity, while the latter is too power-hungry, has a low frame rate, and has limited working distance. With ultra-low latency, energy efficiency, and wide dynamic range characteristics, the event camera is a promising solution to overcome these shortcomings. We propose YeLan, an event camera-based 3-dimensional high-frequency human pose estimation(HPE) system that survives low-lighting conditions and dynamic backgrounds. We collected the world’s first event camera dance dataset and developed a fully customizable motion-to-event physics-aware simulator. YeLan outperforms the baseline models in these challenging conditions and demonstrated robustness against different types of clothing, background motion, viewing angle, occlusion, and lighting fluctuations.
arxiv情報
著者 | Zhongyang Zhang,Kaidong Chai,Haowen Yu,Ramzi Majaj,Francesca Walsh,Edward Wang,Upal Mahbub,Hava Siegelmann,Donghyun Kim,Tauhidur Rahman |
発行日 | 2023-01-27 05:02:29+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google