Reconstructing Humans with a Biomechanically Accurate Skeleton

要約

この論文では、生体力学的に正確なスケルトンモデルを使用して、単一の画像から3D人を再構築する方法を紹介します。
これを達成するために、イメージを入力として撮影し、モデルのパラメーターを推定するトランスをトレーニングします。
このタスクのトレーニングデータが不足しているため、パイプラインを構築して、単一の画像の擬似グラウンドトゥルースモデルパラメーターを作成し、これらの擬似ラベルを繰り返し洗練するトレーニング手順を実装します。
3Dヒトメッシュ回復の最新の方法と比較して、我々のモデルは標準ベンチマークで競争力のあるパフォーマンスを達成しますが、極端な3Dポーズと視点で設定で大幅に上回ることができます。
さらに、以前の再構成方法は、関節角度の制限に頻繁に違反し、不自然な回転につながることを示します。
対照的に、私たちのアプローチは、生体力学的にもっともらしい自由度を活用して、より現実的な関節の回転を推定します。
複数の人間のポーズ推定ベンチマークにわたってアプローチを検証します。
コード、モデル、データをhttps：//isshikihugh.github.io/hsmr/で利用可能にします

要約(オリジナル)

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google