ContactGen: Contact-Guided Interactive 3D Human Generation for Partners

要約

アイコンタクトやジェスチャーなど、人間同士のさまざまなインタラクションの中でも、接触による身体的インタラクションは、人間の行動を理解する上で欠かせない瞬間となります。
この事実に触発され、望ましいインタラクション ラベルを持つ 3D パートナー人間が与えられると、物理的接触の観点から 3D 人間生成という新しいタスクを導入します。
静的なオブジェクトやシーンとインタラクションするこれまでの作品とは異なり、特定のパートナーである人間は、インタラクションの種類に応じて多様なポーズや異なる接触領域を持つことができます。
この課題に対処するために、誘導拡散フレームワークに基づいて、特定のパートナー人間に対してインタラクティブな 3D 人間を生成する新しい方法を提案します。
具体的には、インタラクションラベルに応じて、入力された2人の人間間の潜在的な接触領域を適応的に推定する接触予測モジュールを新たに提示します。
推定された潜在的な接触領域を補完的なガイダンスとして使用して、ContactGen を動的に強制して、ガイド付き拡散モデル内で特定のパートナー人間に対してインタラクティブな 3D 人間を生成します。
CHI3D データセット上で ContactGen を実証します。この方法では、比較方法と比較して、物理的に妥当で多様なポーズが生成されます。

要約(オリジナル)

Among various interactions between humans, such as eye contact and gestures, physical interactions by contact can act as an essential moment in understanding human behaviors. Inspired by this fact, given a 3D partner human with the desired interaction label, we introduce a new task of 3D human generation in terms of physical contact. Unlike previous works of interacting with static objects or scenes, a given partner human can have diverse poses and different contact regions according to the type of interaction. To handle this challenge, we propose a novel method of generating interactive 3D humans for a given partner human based on a guided diffusion framework. Specifically, we newly present a contact prediction module that adaptively estimates potential contact regions between two input humans according to the interaction label. Using the estimated potential contact regions as complementary guidances, we dynamically enforce ContactGen to generate interactive 3D humans for a given partner human within a guided diffusion model. We demonstrate ContactGen on the CHI3D dataset, where our method generates physically plausible and diverse poses compared to comparison methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google