Locomotion-Action-Manipulation: Synthesizing Human-Scene Interactions in Complex 3D Environments

要約

3D 環境は非常に複雑であり、その中で考えられる人間の行動は多様であるため、インタラクションが関与する人間の動作を合成することは困難でした。
私たちは、複雑な屋内環境における自然でもっともらしい長期的な人間の動きを合成するための LAMA (Locomotion-Action-MANipulation) を紹介します。
LAMA の主な動機は、移動、シーンのインタラクション、オブジェクトの操作などの一連の日常動作を包含する統一フレームワークを構築することです。
監視のためにスキャンされた 3D シーンと「ペア」になったモーション データを必要とする既存の方法とは異なり、人間のモーション キャプチャ データを合成のみに使用することで、問題をテスト時間の最適化として定式化します。
LAMA は、強化学習フレームワークとモーション マッチング アルゴリズムを組み合わせて最適化を行い、さらにマニホールド学習を介してモーション編集フレームワークを利用して、インタラクションと操作で起こり得る変動をカバーします。
広範な実験を通じて、さまざまな困難なシナリオで現実的な動きを合成する際に、LAMA が以前のアプローチよりも優れていることを実証しました。
プロジェクトページ: https://jiyewise.github.io/projects/LAMA/ 。

要約(オリジナル)

Synthesizing interaction-involved human motions has been challenging due to the high complexity of 3D environments and the diversity of possible human behaviors within. We present LAMA, Locomotion-Action-MAnipulation, to synthesize natural and plausible long-term human movements in complex indoor environments. The key motivation of LAMA is to build a unified framework to encompass a series of everyday motions including locomotion, scene interaction, and object manipulation. Unlike existing methods that require motion data ‘paired’ with scanned 3D scenes for supervision, we formulate the problem as a test-time optimization by using human motion capture data only for synthesis. LAMA leverages a reinforcement learning framework coupled with a motion matching algorithm for optimization, and further exploits a motion editing framework via manifold learning to cover possible variations in interaction and manipulation. Throughout extensive experiments, we demonstrate that LAMA outperforms previous approaches in synthesizing realistic motions in various challenging scenarios. Project page: https://jiyewise.github.io/projects/LAMA/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google