3D Human Pose Estimation via Intuitive Physics

要約

タイトル：直感的物理学を用いた3D人体姿勢推定

要約：

– 画像から3D人体を推定する手法は、多くの場合、傾いたり、浮いたり、床を貫通したりするような不自然な体を生成する。
– これらの手法は、ボディーが通常シーンによって支持されているという事実を無視している。
– 物理エンジンを使用して物理的な妥当性を強制することができるが、これらは微分可能ではなく、非現実的なプロキシボードに依存し、既存の最適化と学習フレームワークへの統合が困難である。
– 代わりに、我々は、3D SMPLボディがシーンと相互作用する際に推論できる直感的な物理用語を利用することで、直感的物理学（IP）用語を利用しています。生体力学に着想を得て、ボディ上の圧力ヒートマップ、ヒートマップからのCenter of Pressure (CoP)、SMPLボディの重心（CoM）を推定します。
– これらを利用して、IPMANを開発し、3Dカラー画像から「安定な」構成で3Dボディを推定し、妥当な床接触とオーバーラップするCoPとCoMを促進します。
– 当社のIP用語は直感的で、実装が容易で、高速で計算が可能で、微分可能であり、既存の最適化と回帰方法に統合することができます。
– 我々は、標準的なデータセットとMoYo、複雑なポーズ、ボディー -床接触、CoM、圧力のグラウンドトゥルース3Dボディを備えた新しいデータセットでIPMANを評価しました。
– IPMANは、静的ポーズの精度を向上させ、動的なポーズは悪化させず、従来の方法よりもより現実的な結果を生成します。
– 研究用のコードとデータはhttps://ipman.is.tue.mpg.deで利用可能です。

要約(オリジナル)

Estimating 3D humans from images often produces implausible bodies that lean, float, or penetrate the floor. Such methods ignore the fact that bodies are typically supported by the scene. A physics engine can be used to enforce physical plausibility, but these are not differentiable, rely on unrealistic proxy bodies, and are difficult to integrate into existing optimization and learning frameworks. In contrast, we exploit novel intuitive-physics (IP) terms that can be inferred from a 3D SMPL body interacting with the scene. Inspired by biomechanics, we infer the pressure heatmap on the body, the Center of Pressure (CoP) from the heatmap, and the SMPL body’s Center of Mass (CoM). With these, we develop IPMAN, to estimate a 3D body from a color image in a ‘stable’ configuration by encouraging plausible floor contact and overlapping CoP and CoM. Our IP terms are intuitive, easy to implement, fast to compute, differentiable, and can be integrated into existing optimization and regression methods. We evaluate IPMAN on standard datasets and MoYo, a new dataset with synchronized multi-view images, ground-truth 3D bodies with complex poses, body-floor contact, CoM and pressure. IPMAN produces more plausible results than the state of the art, improving accuracy for static poses, while not hurting dynamic ones. Code and data are available for research at https://ipman.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI