SAGA: Stochastic Whole-Body Grasping with Contact

要約

人間の把持の統合には、AR/VR、ビデオ ゲーム、ロボット工学など、数多くのアプリケーションがあります。
オブジェクトの把握と操作のために現実的な手とオブジェクトの相互作用を生成する方法が提案されていますが、これらは通常、手だけで相互作用することのみを考慮しています。
私たちの目標は、全身の把持動作を合成することです。
任意の初期姿勢から開始し、3D 空間内の対象物に近づいてつかむための多様で自然な人間の全身動作を生成することを目指しています。
全身のダイナミクスと器用な指の動きの両方をモデル化する必要があるため、このタスクは困難です。
この目的のために、2 つの主要コンポーネントで構成されるフレームワークである SAGA (StochAstic full-body Grasping with contAct) を提案します。(a) 静的な全身把持ポーズの生成。
具体的には、静的な全身把持ポーズと人間と物体の接触を共同で学習するためのマルチタスク生成モデルを提案します。
(b) 把持運動充填。
初期ポーズと生成された全身把持ポーズをそれぞれモーションの開始と終了として与え、新しい接触認識生成モーション埋め込みモジュールを設計して、多様な把握指向のモーションを生成します。
ランダムに配置された目に見えないオブジェクトに近づいて把握する、現実的で表現力豊かな全身の動きを合成するための新しい生成フレームワークである、この方法の有効性を示します。
コードとモデルは https://jiahaoplus.github.io/SAGA/saga.html で入手できます。

要約(オリジナル)

The synthesis of human grasping has numerous applications including AR/VR, video games and robotics. While methods have been proposed to generate realistic hand-object interaction for object grasping and manipulation, these typically only consider interacting hand alone. Our goal is to synthesize whole-body grasping motions. Starting from an arbitrary initial pose, we aim to generate diverse and natural whole-body human motions to approach and grasp a target object in 3D space. This task is challenging as it requires modeling both whole-body dynamics and dexterous finger movements. To this end, we propose SAGA (StochAstic whole-body Grasping with contAct), a framework which consists of two key components: (a) Static whole-body grasping pose generation. Specifically, we propose a multi-task generative model, to jointly learn static whole-body grasping poses and human-object contacts. (b) Grasping motion infilling. Given an initial pose and the generated whole-body grasping pose as the start and end of the motion respectively, we design a novel contact-aware generative motion infilling module to generate a diverse set of grasp-oriented motions. We demonstrate the effectiveness of our method, which is a novel generative framework to synthesize realistic and expressive whole-body motions that approach and grasp randomly placed unseen objects. Code and models are available at https://jiahaoplus.github.io/SAGA/saga.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google