HOI-Diff: Text-Driven Synthesis of 3D Human-Object Interactions using Diffusion Models

要約

私たちは、テキストのプロンプトによって駆動されるリアルな 3D 人間とオブジェクトのインタラクション (HOI) を生成する問題に取り組みます。
この目的を達成するために、モジュール設計を採用し、複雑なタスクをより単純なサブタスクに分解します。
まず、入力テキストに条件付けされた人間とオブジェクトの両方のモーションを生成するデュアルブランチ拡散モデル (HOI-DM) を開発し、人間とオブジェクトのモーション生成ブランチ間のクロスアテンション通信モジュールによって一貫したモーションを促進します。
また、テキストプロンプトによるインタラクション中の人間と物体の接触領域を予測するアフォーダンス予測拡散モデル (APDM) も開発します。
APDM は HOI-DM による結果から独立しているため、HOI-DM による潜在的なエラーを修正できます。
さらに、接触点を確率的に生成することで、生成されるモーションを多様化します。
最後に、推定された接触点を識別子ガイドに組み込み、人と物体との正確かつ緊密な接触を実現します。
私たちのアプローチをトレーニングして評価するために、BEHAVE データセットにテキストの説明で注釈を付けます。
BEHAVE と OMOMO の実験結果は、私たちのアプローチがさまざまなインタラクションとさまざまなタイプのオブジェクトを備えた現実的な HOI を生成することを示しています。

要約(オリジナル)

We address the problem of generating realistic 3D human-object interactions (HOIs) driven by textual prompts. To this end, we take a modular design and decompose the complex task into simpler sub-tasks. We first develop a dual-branch diffusion model (HOI-DM) to generate both human and object motions conditioned on the input text, and encourage coherent motions by a cross-attention communication module between the human and object motion generation branches. We also develop an affordance prediction diffusion model (APDM) to predict the contacting area between the human and object during the interactions driven by the textual prompt. The APDM is independent of the results by the HOI-DM and thus can correct potential errors by the latter. Moreover, it stochastically generates the contacting points to diversify the generated motions. Finally, we incorporate the estimated contacting points into the classifier-guidance to achieve accurate and close contact between humans and objects. To train and evaluate our approach, we annotate BEHAVE dataset with text descriptions. Experimental results on BEHAVE and OMOMO demonstrate that our approach produces realistic HOIs with various interactions and different types of objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google