HandyPriors: Physically Consistent Perception of Hand-Object Interactions with Differentiable Priors

要約

手と物体の相互作用をモデル化するための様々な発見的目的が、過去の研究において提案されてきた。しかし、まとまったフレームワークがないため、これらの目的は適用範囲が狭く、効率や精度が制限されることが多い。本論文では、微分可能な物理学とレンダリングにおける最近の進歩を活用することで、人間とオブジェクトのインタラクションシーンにおけるポーズ推定のための統一された一般的なパイプラインであるHandyPriorsを提案する。我々のアプローチは、入力画像とセグメンテーションマスクに整合させるためのレンダリングプライヤと、フレーム間の貫通と相対的な滑りを緩和するための物理プライヤを用いる。さらに、手と物体のポーズ推定に2つの選択肢を提示する。最適化ベースのポーズ推定はより高い精度を達成し、微分可能な事前分布をダイナミクスと観測モデルとして利用するフィルタリングベースのトラッキングはより高速に実行される。我々は、HandyPriorsがポーズ推定タスクにおいて同等以上の結果を達成し、微分可能な物理モジュールがポーズ精密化のための接触情報を予測できることを示す。また、本アプローチが、ロボットの手の操作や、野生の人間と物体のポーズ推定を含む知覚タスクに一般化することも示す。

要約(オリジナル)

Various heuristic objectives for modeling hand-object interaction have been proposed in past work. However, due to the lack of a cohesive framework, these objectives often possess a narrow scope of applicability and are limited by their efficiency or accuracy. In this paper, we propose HandyPriors, a unified and general pipeline for pose estimation in human-object interaction scenes by leveraging recent advances in differentiable physics and rendering. Our approach employs rendering priors to align with input images and segmentation masks along with physics priors to mitigate penetration and relative-sliding across frames. Furthermore, we present two alternatives for hand and object pose estimation. The optimization-based pose estimation achieves higher accuracy, while the filtering-based tracking, which utilizes the differentiable priors as dynamics and observation models, executes faster. We demonstrate that HandyPriors attains comparable or superior results in the pose estimation task, and that the differentiable physics module can predict contact information for pose refinement. We also show that our approach generalizes to perception tasks, including robotic hand manipulation and human-object pose estimation in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL