Locomotion-Action-Manipulation: Synthesizing Human-Scene Interactions in Complex 3D Environments

要約

3次元環境は非常に複雑であり、その中で人間の行動は多様であるため、インタラクションを伴う人間の動作の合成は困難である。我々は、LAMA（Locomotion-Action-MAnipulation）を提案し、複雑な室内環境における自然でもっともらしい長期的な人間の動作を合成する。LAMAの主な動機は、運動、3Dシーンとのインタラクション、3Dオブジェクトの操作など、日常生活でよく観察される一連の動作を包含する統一的なフレームワークを構築することである。LAMAは、強化学習フレームワークとモーションマッチングアルゴリズムに基づき、共通の制約条件と衝突回避処理のもとで、運動とシーンとのインタラクションをシームレスに合成する。LAMAはまた、多様体学習による動作編集フレームワークを利用し、インタラクションと操作の動作の可能なバリエーションをカバーする。我々は、様々な困難なシナリオにおいて、LAMAが既存のアプローチを凌駕することを定量的、定性的に実証している。プロジェクトのウェブページ: https://lama-www.github.io/ .

要約(オリジナル)

Synthesizing interaction-involved human motions has been challenging due to the high complexity of 3D environments and the diversity of possible human behaviors within. We present LAMA, Locomotion-Action-MAnipulation, to synthesize natural and plausible long term human movements in complex indoor environments. The key motivation of LAMA is to build a unified framework to encompass a series of motions commonly observable in our daily lives, including locomotion, interactions with 3D scenes, and manipulations of 3D objects. LAMA is based on a reinforcement learning framework coupled with a motion matching algorithm to synthesize locomotion and scene interaction seamlessly under common constraints and collision avoidance handling. LAMA also exploits a motion editing framework via manifold learning to cover possible variations in interaction and manipulation motions. We quantitatively and qualitatively demonstrate that LAMA outperforms existing approaches in various challenging scenarios. Project webpage: https://lama-www.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL