TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments

要約

3D人間の姿勢と形状（HPS）の推定は急速に進歩していますが、現在の方法では、多くのアプリケーションで重要なグローバル座標で動く人間を確実に推定することはまだできません。特に、カメラも動いていて、人間の動きとカメラの動きが絡み合っている場合、この問題は困難です。これらの問題に対処するため、我々は、シーン内の人物に関するエンドツーエンドの推論を可能にする新しい5D表現（空間、時間、アイデンティティ）を採用する。TRACEと呼ばれるこの手法は、いくつかの新しいアーキテクチャを導入している。最も重要なのは、2つの新しい「マップ」を用いて、カメラ座標と世界座標における人物の3次元的な軌跡を推論することである。また、メモリユニットを追加することで、長時間のオクルージョンの間でも人物を持続的に追跡することができます。TRACEは、ダイナミックカメラからグローバル座標で3D人物の復元と追跡を同時に行う初めてのワンステージ手法です。TRACEは、エンドツーエンドで学習させ、完全な画像情報を使用することで、トラッキングとHPSベンチマークで最先端の性能を達成しました。コードとデータセットは研究目的で公開されます。

要約(オリジナル)

Although the estimation of 3D human pose and shape (HPS) is rapidly progressing, current methods still cannot reliably estimate moving humans in global coordinates, which is critical for many applications. This is particularly challenging when the camera is also moving, entangling human and camera motion. To address these issues, we adopt a novel 5D representation (space, time, and identity) that enables end-to-end reasoning about people in scenes. Our method, called TRACE, introduces several novel architectural components. Most importantly, it uses two new ‘maps’ to reason about the 3D trajectory of people over time in camera, and world, coordinates. An additional memory unit enables persistent tracking of people even during long occlusions. TRACE is the first one-stage method to jointly recover and track 3D humans in global coordinates from dynamic cameras. By training it end-to-end, and using full image information, TRACE achieves state-of-the-art performance on tracking and HPS benchmarks. The code and dataset are released for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL