Physically Plausible Full-Body Hand-Object Interaction Synthesis

要約

私たちは、全身設定で手とオブジェクトの器用なインタラクションを合成するための物理ベースの方法を提案します。
最近の進歩は人間と物体の相互作用の特定の側面に取り組んでいますが、包括的な物理学に基づくアプローチは依然として課題です。
既存の手法は、インタラクション プロセスの孤立したセグメントに焦点を当てていることが多く、データ駆動型の手法に依存しているため、アーティファクトが発生する可能性があります。
対照的に、私たちが提案する方法は、強化学習 (RL) と物理シミュレーションを取り入れて、データ駆動型アプローチの制限を緩和します。
階層的なフレームワークを通じて、私たちはまず、分離された設定での体と手の動きの両方のスキル事前学習を学びます。
一般的なスキルの事前学習者は、基礎となる部分の動きに埋め込まれた潜在的なスキルを解読する方法を学習します。
次に、高レベルのポリシーは、把握と 3D ターゲット軌道の追跡というタスク目標に基づいて、これらの事前トレーニングされた潜在空間での手とオブジェクトの相互作用を制御します。
これは、敵対的なスタイルの用語とタスク報酬を組み合わせた新しい報酬関数を使用してトレーニングされ、タスクのインセンティブを満たしながら自然な動作を促進します。
私たちの方法は、オブジェクトへの接近から把握、その後の操作までの完全なインタラクションタスクを首尾よく達成します。
私たちのアプローチを運動学ベースのベースラインと比較し、それがより物理的に妥当な動きにつながることを示します。

要約(オリジナル)

We propose a physics-based method for synthesizing dexterous hand-object interactions in a full-body setting. While recent advancements have addressed specific facets of human-object interactions, a comprehensive physics-based approach remains a challenge. Existing methods often focus on isolated segments of the interaction process and rely on data-driven techniques that may result in artifacts. In contrast, our proposed method embraces reinforcement learning (RL) and physics simulation to mitigate the limitations of data-driven approaches. Through a hierarchical framework, we first learn skill priors for both body and hand movements in a decoupled setting. The generic skill priors learn to decode a latent skill embedding into the motion of the underlying part. A high-level policy then controls hand-object interactions in these pretrained latent spaces, guided by task objectives of grasping and 3D target trajectory following. It is trained using a novel reward function that combines an adversarial style term with a task reward, encouraging natural motions while fulfilling the task incentives. Our method successfully accomplishes the complete interaction task, from approaching an object to grasping and subsequent manipulation. We compare our approach against kinematics-based baselines and show that it leads to more physically plausible motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google