Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes

要約

人間の動き統合における最近の進歩は、人間のシーンの相互作用、移動、人間の相互作用などの特定の種類の動きに焦点を当てていますが、運動タイプの多様な組み合わせを生成できる統一されたシステムが不足しています。
これに応じて、3D空間での人間の動きの生成のための包括的で拡張可能なシステムであるSitcom-Crafterを紹介します。これは、アニメおよびゲームデザイナーのワークフロー効率を高めるために、広範なプロットコンテキストによって導かれます。
このシステムは8つのモジュールで構成されており、そのうち3つはモーション生成専用ですが、残りの5つはモーションシーケンスとシステム機能の一貫した融合を保証する増強モジュールです。
Generationモジュールの中心は、私たちの新しい3Dシーンを意識した人間と人間の相互作用モジュールであり、モーションスペースの周りに暗黙の3D署名距離関数（SDF）ポイントを合成することにより衝突問題に対処し、それによって追加のデータ収集コストなしで人間の衝突を最小限に抑えます。
これを補完すると、私たちの移動と人間のシーン相互作用モジュールは、既存の方法を活用して、システムのモーション生成機能を豊かにします。
増強モジュールには、コマンド生成のためのプロットの理解、さまざまなモーションタイプのシームレスな統合のためのモーション同期、手ポーズの検索、モーションリアリズムを強化し、人間の衝突を防ぐためのモーション衝突修正、視覚的忠実度を確保するための3Dリターゲティングが含まれます。
実験的評価は、高品質で多様な、物理的に現実的な動きを生成するシステムの能力を検証し、創造的なワークフローを進める可能性を強調しています。
プロジェクトページ：https：//windvchen.github.io/sitcom-crafter。

要約(オリジナル)

Recent advancements in human motion synthesis have focused on specific types of motions, such as human-scene interaction, locomotion or human-human interaction, however, there is a lack of a unified system capable of generating a diverse combination of motion types. In response, we introduce Sitcom-Crafter, a comprehensive and extendable system for human motion generation in 3D space, which can be guided by extensive plot contexts to enhance workflow efficiency for anime and game designers. The system is comprised of eight modules, three of which are dedicated to motion generation, while the remaining five are augmentation modules that ensure consistent fusion of motion sequences and system functionality. Central to the generation modules is our novel 3D scene-aware human-human interaction module, which addresses collision issues by synthesizing implicit 3D Signed Distance Function (SDF) points around motion spaces, thereby minimizing human-scene collisions without additional data collection costs. Complementing this, our locomotion and human-scene interaction modules leverage existing methods to enrich the system’s motion generation capabilities. Augmentation modules encompass plot comprehension for command generation, motion synchronization for seamless integration of different motion types, hand pose retrieval to enhance motion realism, motion collision revision to prevent human collisions, and 3D retargeting to ensure visual fidelity. Experimental evaluations validate the system’s ability to generate high-quality, diverse, and physically realistic motions, underscoring its potential for advancing creative workflows. Project page: https://windvchen.github.io/Sitcom-Crafter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google