HandyPriors: Physically Consistent Perception of Hand-Object Interactions with Differentiable Priors

要約

過去の研究では、手とオブジェクトの相互作用をモデル化するためのさまざまなヒューリスティックな目的が提案されています。
ただし、一貫したフレームワークが欠如しているため、これらの目標は適用範囲が狭く、効率や精度が制限されることがよくあります。
この論文では、微分可能な物理学とレンダリングにおける最近の進歩を活用して、人間とオブジェクトのインタラクション シーンにおける姿勢推定のための統合された一般的なパイプラインである HandyPriors を提案します。
私たちのアプローチでは、入力画像およびセグメンテーション マスクと位置合わせするレンダリング プリアを採用するとともに、フレーム間の浸透と相対スライディングを軽減する物理プリアを使用します。
さらに、手と物体の姿勢推定のための 2 つの代替案を提示します。
最適化ベースの姿勢推定はより高い精度を実現し、微分可能な事前分布をダイナミクスおよび観測モデルとして利用するフィルタリング ベースの追跡はより高速に実行されます。
我々は、HandyPriors が姿勢推定タスクにおいて同等以上の結果を達成すること、および微分可能物理モジュールが姿勢改良のための接触情報を予測できることを実証します。
また、私たちのアプローチが、ロボットハンドの操作や野生での人間の物体の姿勢推定などの知覚タスクに一般化できることも示します。

要約(オリジナル)

Various heuristic objectives for modeling hand-object interaction have been proposed in past work. However, due to the lack of a cohesive framework, these objectives often possess a narrow scope of applicability and are limited by their efficiency or accuracy. In this paper, we propose HandyPriors, a unified and general pipeline for pose estimation in human-object interaction scenes by leveraging recent advances in differentiable physics and rendering. Our approach employs rendering priors to align with input images and segmentation masks along with physics priors to mitigate penetration and relative-sliding across frames. Furthermore, we present two alternatives for hand and object pose estimation. The optimization-based pose estimation achieves higher accuracy, while the filtering-based tracking, which utilizes the differentiable priors as dynamics and observation models, executes faster. We demonstrate that HandyPriors attains comparable or superior results in the pose estimation task, and that the differentiable physics module can predict contact information for pose refinement. We also show that our approach generalizes to perception tasks, including robotic hand manipulation and human-object pose estimation in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google