3D Human Scan With A Moving Event Camera

要約

3D 人体のキャプチャは、仮想現実やスポーツ分析などの幅広い用途に使用されるコンピューター ビジョンにおける重要なタスクの 1 つです。
ただし、従来のフレーム カメラは時間解像度とダイナミック レンジによって制限されており、実際のアプリケーションのセットアップに制約が課せられます。
イベント カメラには、高い時間解像度と高ダイナミック レンジ (HDR) という利点がありますが、異なる特性を持つデータを処理するには、イベントベースの手法の開発が必要です。
この論文では、3D 姿勢推定と人間メッシュ回復のための新しいイベントベースの方法を提案します。
イベントベースのヒューマン メッシュ回復に関する以前の作業では、イベント データだけでなくフレーム (画像) も必要でした。
提案された方法はイベントのみに依存します。
静止した物体の周囲でイベント カメラを移動させることによって 3D ボクセルを彫刻し、減衰光線によって人間のポーズとメッシュを再構築し、高周波の詳細を維持しながら統計的な身体モデルを適合させます。
実験結果は、提案手法が姿勢メッシュと身体メッシュの両方の推定精度において従来のフレームベースの手法を上回ることを示しています。
また、従来のカメラではモーション ブラーが発生する困難な状況でも結果を実証しました。
これは、イベントのみの人体メッシュ回復を実証する最初の例であり、ビジョン センサーからの堅牢かつ正確な 3D 人体スキャンの実現に向けた第一歩となることを期待しています。

要約(オリジナル)

Capturing the 3D human body is one of the important tasks in computer vision with a wide range of applications such as virtual reality and sports analysis. However, conventional frame cameras are limited by their temporal resolution and dynamic range, which imposes constraints in real-world application setups. Event cameras have the advantages of high temporal resolution and high dynamic range (HDR), but the development of event-based methods is necessary to handle data with different characteristics. This paper proposes a novel event-based method for 3D pose estimation and human mesh recovery. Prior work on event-based human mesh recovery require frames (images) as well as event data. The proposed method solely relies on events; it carves 3D voxels by moving the event camera around a stationary body, reconstructs the human pose and mesh by attenuated rays, and fit statistical body models, preserving high-frequency details. The experimental results show that the proposed method outperforms conventional frame-based methods in the estimation accuracy of both pose and body mesh. We also demonstrate results in challenging situations where a conventional camera has motion blur. This is the first to demonstrate event-only human mesh recovery, and we hope that it is the first step toward achieving robust and accurate 3D human body scanning from vision sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google