SAGA: Stochastic Whole-Body Grasping with Contact

要約

人間の把握の統合には、AR / VR、ビデオゲーム、ロボット工学など、数多くのアプリケーションがあります。
オブジェクトの把持と操作のための現実的な手とオブジェクトの相互作用を生成する方法が提案されていますが、これらは通常、手だけの相互作用のみを考慮します。
私たちの目標は、全身をつかむ動きを合成することです。
任意の初期ポーズから始めて、多様で自然な全身の人間の動きを生成し、3D空間でターゲットオブジェクトに近づいて把握することを目指しています。
このタスクは、全身のダイナミクスと器用な指の動きの両方をモデル化する必要があるため、困難です。
そのために、以下の2つの主要コンポーネントで構成されるフレームワークであるSAGA（StochAstic全身握るcontAct）を提案します。（a）静的な全身握るポーズの生成。
具体的には、静的な全身把持ポーズと人体接触を共同で学習するマルチタスク生成モデルを提案します。
（b）把持動作の充填。
モーションの開始と終了としてそれぞれ初期ポーズと生成された全身把持ポーズを前提として、さまざまな把持指向モーションのセットを生成するための新しい接触認識生成モーション充填モジュールを設計します。
ランダムに配置された見えない物体に近づき、つかむリアルで表現力豊かな全身の動きを合成するための新しい生成フレームワークである私たちの方法の有効性を示します。
コードとモデルはhttps://jiahaoplus.github.io/SAGA/saga.htmlで入手できます。

要約(オリジナル)

The synthesis of human grasping has numerous applications including AR/VR, video games and robotics. While methods have been proposed to generate realistic hand-object interaction for object grasping and manipulation, these typically only consider interacting hand alone. Our goal is to synthesize whole-body grasping motions. Starting from an arbitrary initial pose, we aim to generate diverse and natural whole-body human motions to approach and grasp a target object in 3D space. This task is challenging as it requires modeling both whole-body dynamics and dexterous finger movements. To this end, we propose SAGA (StochAstic whole-body Grasping with contAct), a framework which consists of two key components: (a) Static whole-body grasping pose generation. Specifically, we propose a multi-task generative model, to jointly learn static whole-body grasping poses and human-object contacts. (b) Grasping motion infilling. Given an initial pose and the generated whole-body grasping pose as the start and end of the motion respectively, we design a novel contact-aware generative motion infilling module to generate a diverse set of grasp-oriented motions. We demonstrate the effectiveness of our method, which is a novel generative framework to synthesize realistic and expressive whole-body motions that approach and grasp randomly placed unseen objects. Code and models are available at https://jiahaoplus.github.io/SAGA/saga.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google