Uplift and Upsample: Efficient 3D Human Pose Estimation with Uplifting Transformers

要約

ビデオでの単眼 3D 人間の姿勢推定の最先端技術は、2D から 3D への姿勢アップリフティングのパラダイムによって支配されています。
高揚方法自体はかなり効率的ですが、実際の計算の複雑さは、フレームごとの 2D 姿勢推定に依存します。
このホワイト ペーパーでは、時間的に疎な 2D ポーズ シーケンスで動作できるが、時間的に密な 3D ポーズ推定を生成できる Transformer ベースのポーズ アップリフティング スキームを提示します。
トランスフォーマー ブロック内の一時的なアップサンプリングに、マスクされたトークン モデリングを利用する方法を示します。
これにより、入力 2D ポーズのサンプリング レートとビデオのターゲット フレーム レートを切り離すことができ、全体的な計算の複雑さが大幅に軽減されます。
さらに、これまでほとんど無視されてきた大規模なモーション キャプチャ アーカイブの事前トレーニングのオプションを検討します。
2 つの一般的なベンチマーク データセット (Human3.6M と MPI-INF-3DHP) で手法を評価します。
それぞれ 45.0 mm と 46.9 mm の MPJPE を使用すると、提案された方法は、推論時間を 12 分の 1 に短縮しながら、最先端の技術と競合することができます。
アプリケーション。
コードとモデルを https://github.com/goldbricklemon/uplift-upsample-3dhpe でリリースします

要約(オリジナル)

The state-of-the-art for monocular 3D human pose estimation in videos is dominated by the paradigm of 2D-to-3D pose uplifting. While the uplifting methods themselves are rather efficient, the true computational complexity depends on the per-frame 2D pose estimation. In this paper, we present a Transformer-based pose uplifting scheme that can operate on temporally sparse 2D pose sequences but still produce temporally dense 3D pose estimates. We show how masked token modeling can be utilized for temporal upsampling within Transformer blocks. This allows to decouple the sampling rate of input 2D poses and the target frame rate of the video and drastically decreases the total computational complexity. Additionally, we explore the option of pre-training on large motion capture archives, which has been largely neglected so far. We evaluate our method on two popular benchmark datasets: Human3.6M and MPI-INF-3DHP. With an MPJPE of 45.0 mm and 46.9 mm, respectively, our proposed method can compete with the state-of-the-art while reducing inference time by a factor of 12. This enables real-time throughput with variable consumer hardware in stationary and mobile applications. We release our code and models at https://github.com/goldbricklemon/uplift-upsample-3dhpe

arxiv情報

提供元, 利用サービス

arxiv.jp, Google