Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes

要約

ヒューマン モーション合成の最近の進歩は、人間とシーンのインタラクション、移動、人間と人間のインタラクションなど、特定の種類のモーションに焦点を当てていますが、モーション タイプの多様な組み合わせを生成できる統合システムが不足しています。
これに応えて、3D 空間で人間のモーションを生成するための包括的で拡張可能なシステムである Sitcom-Craafter を導入します。これは、広範なプロット コンテキストによってガイドされ、アニメやゲームのデザイナーのワークフロー効率を向上させることができます。
このシステムは 8 つのモジュールで構成されており、そのうち 3 つはモーション生成専用であり、残りの 5 つはモーション シーケンスとシステム機能の一貫した融合を保証する拡張モジュールです。
生成モジュールの中心となるのは、新しい 3D シーン対応の人間と人間のインタラクション モジュールです。このモジュールは、モーション スペースの周囲に暗黙的な 3D 符号付き距離関数 (SDF) ポイントを合成することで衝突の問題に対処し、追加のデータ収集コストをかけずに人間とシーンの衝突を最小限に抑えます。
これを補完するために、当社の移動および人間とシーンのインタラクション モジュールは、既存の方法を活用してシステムのモーション生成機能を強化します。
拡張モジュールには、コマンド生成のためのプロットの理解、さまざまなモーション タイプをシームレスに統合するためのモーション同期、モーションのリアリズムを高めるための手のポーズの取得、人間の衝突を防ぐためのモーションの衝突修正、視覚的な忠実性を確保するための 3D リターゲットが含まれます。
実験評価により、高品質で多様かつ物理的に現実的なモーションを生成するシステムの能力が検証され、創造的なワークフローを進歩させる可能性が強調されています。

要約(オリジナル)

Recent advancements in human motion synthesis have focused on specific types of motions, such as human-scene interaction, locomotion or human-human interaction, however, there is a lack of a unified system capable of generating a diverse combination of motion types. In response, we introduce Sitcom-Crafter, a comprehensive and extendable system for human motion generation in 3D space, which can be guided by extensive plot contexts to enhance workflow efficiency for anime and game designers. The system is comprised of eight modules, three of which are dedicated to motion generation, while the remaining five are augmentation modules that ensure consistent fusion of motion sequences and system functionality. Central to the generation modules is our novel 3D scene-aware human-human interaction module, which addresses collision issues by synthesizing implicit 3D Signed Distance Function (SDF) points around motion spaces, thereby minimizing human-scene collisions without additional data collection costs. Complementing this, our locomotion and human-scene interaction modules leverage existing methods to enrich the system’s motion generation capabilities. Augmentation modules encompass plot comprehension for command generation, motion synchronization for seamless integration of different motion types, hand pose retrieval to enhance motion realism, motion collision revision to prevent human collisions, and 3D retargeting to ensure visual fidelity. Experimental evaluations validate the system’s ability to generate high-quality, diverse, and physically realistic motions, underscoring its potential for advancing creative workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google