Physical Interaction: Reconstructing Hand-object Interactions with Physics

要約

手とオブジェクトの相互作用のシングルビューベースの再構成は、オクルージョンによって引き起こされる深刻な観察の欠落のために困難です。
この論文では、再構成におけるあいまいさをより適切に解決するための物理ベースの方法を提案します。
最初に、観測されていない接触を回復するだけでなく、もっともらしい接触力を解決する、手にある物体の力ベースの動的モデルを提案します。
次に、運動学的信頼度と接触力の両方を組み合わせて、静的および滑り接触運動を共同でモデル化する、信頼度ベースの滑り防止スキームが提案されます。
質的および量的実験は、提案された手法が、物理的に妥当でより正確な手と物体の相互作用の両方を再構築し、単一の RGBD センサーを使用して妥当な接触力をリアルタイムで推定することを示しています。

要約(オリジナル)

Single view-based reconstruction of hand-object interaction is challenging due to the severe observation missing caused by occlusions. This paper proposes a physics-based method to better solve the ambiguities in the reconstruction. It first proposes a force-based dynamic model of the in-hand object, which not only recovers the unobserved contacts but also solves for plausible contact forces. Next, a confidence-based slide prevention scheme is proposed, which combines both the kinematic confidences and the contact forces to jointly model static and sliding contact motion. Qualitative and quantitative experiments show that the proposed technique reconstructs both physically plausible and more accurate hand-object interaction and estimates plausible contact forces in real-time with a single RGBD sensor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google