FLEX: Full-Body Grasping Without Full-Body Grasps

要約

シーンとリアルに対話する 3D 人間のアバターを合成することは、AR/VR、ビデオ ゲーム、ロボット工学のアプリケーションにとって重要な問題です。
この目標に向けて、私たちは仮想人間 (手と全身) を生成し、日常の物体をつかむタスクに取り組みます。
既存の方法では、オブジェクトとやり取りする人間の 3D データセットを収集し、このデータをトレーニングすることで、この問題に取り組みます。
ただし、1) これらの方法は、さまざまなオブジェクトの位置と方向、またはシーン内の家具の存在に一般化されず、2) 生成される全身ポーズの多様性は非常に限られています。
この作業では、上記のすべての課題に取り組み、3D 全身把握データを必要とせずに、日常のシーンで現実的で多様な全身把握を生成します。
私たちの重要な洞察は、全身のポーズと手の把握の両方の事前分布の存在を活用し、3D 幾何学的制約を使用してそれらを構成し、全身の把握を取得することです。
これらの制約が、量的および質的にベースラインよりも優れたさまざまな実行可能な人間の把握を生成できることを経験的に検証します。
詳細については、https://flex.cs.columbia.edu/ の Web ページを参照してください。

要約(オリジナル)

Synthesizing 3D human avatars interacting realistically with a scene is an important problem with applications in AR/VR, video games and robotics. Towards this goal, we address the task of generating a virtual human — hands and full body — grasping everyday objects. Existing methods approach this problem by collecting a 3D dataset of humans interacting with objects and training on this data. However, 1) these methods do not generalize to different object positions and orientations, or to the presence of furniture in the scene, and 2) the diversity of their generated full-body poses is very limited. In this work, we address all the above challenges to generate realistic, diverse full-body grasps in everyday scenes without requiring any 3D full-body grasping data. Our key insight is to leverage the existence of both full-body pose and hand grasping priors, composing them using 3D geometrical constraints to obtain full-body grasps. We empirically validate that these constraints can generate a variety of feasible human grasps that are superior to baselines both quantitatively and qualitatively. See our webpage for more details: https://flex.cs.columbia.edu/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google