HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos

要約

3D 手の姿勢推定の出現にもかかわらず、現在の方法は主にカメラ フレーム内での単一画像の 3D 手の再構成に焦点を当てており、手のワールド空間の動きは無視されています。
このような制限により、手やカメラが動き続ける自己中心的なビデオ設定での直接使用が禁止されます。
この研究では、自己中心的なビデオから世界座標で手の動きを再構築するための高忠実度の方法である HaWoR を提案します。
カメラ空間で手の動きを再構成し、世界座標系でカメラの軌道を推定することで、タスクを分離することを提案します。
正確なカメラ軌道推定を実現するために、従来の SLAM 手法の欠点に対処し、困難なカメラ ダイナミクスの下でも堅牢なパフォーマンスを提供する適応型自己中心的 SLAM フレームワークを提案します。
手が視野錐台の外に出た場合でも、堅牢な手の動きの軌跡を保証するために、シーケンスの欠落したフレームを効果的に補完する新しいモーションインフィラーネットワークを考案しました。
広範な定量的および定性的評価を通じて、HaWoR がさまざまな自己中心的なベンチマーク データセットの下で手の動きの再構成とワールド フレーム カメラの軌道推定の両方で最先端のパフォーマンスを達成することを実証します。
コードとモデルは https://hawor-project.github.io/ で入手できます。

要約(オリジナル)

Despite the advent in 3D hand pose estimation, current methods predominantly focus on single-image 3D hand reconstruction in the camera frame, overlooking the world-space motion of the hands. Such limitation prohibits their direct use in egocentric video settings, where hands and camera are continuously in motion. In this work, we propose HaWoR, a high-fidelity method for hand motion reconstruction in world coordinates from egocentric videos. We propose to decouple the task by reconstructing the hand motion in the camera space and estimating the camera trajectory in the world coordinate system. To achieve precise camera trajectory estimation, we propose an adaptive egocentric SLAM framework that addresses the shortcomings of traditional SLAM methods, providing robust performance under challenging camera dynamics. To ensure robust hand motion trajectories, even when the hands move out of view frustum, we devise a novel motion infiller network that effectively completes the missing frames of the sequence. Through extensive quantitative and qualitative evaluations, we demonstrate that HaWoR achieves state-of-the-art performance on both hand motion reconstruction and world-frame camera trajectory estimation under different egocentric benchmark datasets. Code and models are available on https://hawor-project.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google