Generating Human Motion in 3D Scenes from Text Descriptions

要約

テキストの記述から人間の動きを生成することは、その応用範囲が広いため、研究への関心が高まっています。
しかし、人間とシーンのインタラクションを、視覚的および物理的なリアリズムにとって重要なテキスト条件とともに考慮している作品はわずかです。
この論文は、人間とシーンのインタラクションのテキスト記述が与えられた場合に、3D 屋内シーンで人間の動きを生成するタスクに焦点を当てています。
このタスクには、テキスト、シーン、モーションのマルチモダリティの性質と、空間的推論の必要性による課題が伴います。
これらの課題に対処するために、我々は、複雑な問題をより管理しやすい 2 つのサブ問題、(1) ターゲット オブジェクトの言語グラウンディング、および (2) オブジェクト中心のモーション生成に分解する新しいアプローチを提案します。
ターゲットオブジェクトの言語基盤のために、大規模な言語モデルの力を活用します。
モーション生成では、ターゲット オブジェクトに焦点を当てた生成モデルのオブジェクト中心のシーン表現を設計します。これにより、シーンの複雑さが軽減され、人間のモーションとオブジェクトの関係のモデリングが容易になります。
実験により、ベースラインと比較して私たちのアプローチのモーション品質が向上していることが実証され、設計の選択が検証されます。

要約(オリジナル)

Generating human motions from textual descriptions has gained growing research interest due to its wide range of applications. However, only a few works consider human-scene interactions together with text conditions, which is crucial for visual and physical realism. This paper focuses on the task of generating human motions in 3D indoor scenes given text descriptions of the human-scene interactions. This task presents challenges due to the multi-modality nature of text, scene, and motion, as well as the need for spatial reasoning. To address these challenges, we propose a new approach that decomposes the complex problem into two more manageable sub-problems: (1) language grounding of the target object and (2) object-centric motion generation. For language grounding of the target object, we leverage the power of large language models. For motion generation, we design an object-centric scene representation for the generative model to focus on the target object, thereby reducing the scene complexity and facilitating the modeling of the relationship between human motions and the object. Experiments demonstrate the better motion quality of our approach compared to baselines and validate our design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google