Predicting 4D Hand Trajectory from Monocular Videos

要約

単眼ビデオからコヒーレントな 4D 手の軌跡を推測するアプローチである HaPTIC を紹介します。
現在のビデオベースの手のポーズ再構成方法は、空間内の一貫した 4D 手の軌道を研究するのではなく、隣接するフレームを使用してフレームごとの 3D ポーズを改善することに主に焦点を当てています。
時間的手がかりが追加されているにもかかわらず、注釈付きのビデオ データが不足しているため、一般に画像ベースの方法と比較してパフォーマンスが劣ります。
これらの問題に対処するために、私たちは最先端の画像ベースの変換器を再利用して、複数のフレームを取り込み、コヒーレントな軌道を直接予測します。
2 種類の軽量アテンション レイヤーを導入します。時間情報を融合するクロスビュー セルフ アテンションと、より大きな空間コンテキストを取り込むグローバル クロス アテンションです。
私たちの方法は、強力な 2D 再投影アライメントを維持しながら、グラウンド トゥルースと同様の 4D 手の軌道を推測します。
この方法を自己中心的なビデオと他人中心的なビデオの両方に適用します。
これは、グローバル軌道の精度において既存の手法を大幅に上回り、単一画像の姿勢推定においては最先端の手法に匹敵します。
プロジェクト Web サイト: https://judyye.github.io/haptic-www

要約(オリジナル)

We present HaPTIC, an approach that infers coherent 4D hand trajectories from monocular videos. Current video-based hand pose reconstruction methods primarily focus on improving frame-wise 3D pose using adjacent frames rather than studying consistent 4D hand trajectories in space. Despite the additional temporal cues, they generally underperform compared to image-based methods due to the scarcity of annotated video data. To address these issues, we repurpose a state-of-the-art image-based transformer to take in multiple frames and directly predict a coherent trajectory. We introduce two types of lightweight attention layers: cross-view self-attention to fuse temporal information, and global cross-attention to bring in larger spatial context. Our method infers 4D hand trajectories similar to the ground truth while maintaining strong 2D reprojection alignment. We apply the method to both egocentric and allocentric videos. It significantly outperforms existing methods in global trajectory accuracy while being comparable to the state-of-the-art in single-image pose estimation. Project website: https://judyye.github.io/haptic-www

arxiv情報

著者 Yufei Ye,Yao Feng,Omid Taheri,Haiwen Feng,Shubham Tulsiani,Michael J. Black
発行日 2025-01-14 18:59:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク