DAViD: Modeling Dynamic Affordance of 3D Objects using Pre-trained Video Diffusion Models

要約

AI が日常生活を改善するには、人間の物体使用能力を理解することが不可欠です。
このような能力を学習するための既存の研究は、静的な状況における人間とオブジェクトのパターン（接触、空間関係、向きなど）に焦点を当てており、時間の経過に伴う人間とオブジェクトのインタラクション（HOI）パターン（つまり、人間とオブジェクトの動き）を学習することは比較的少ないです。
探検した。
この論文では、ダイナミック アフォーダンスと呼ばれる新しいタイプのアフォーダンスを紹介します。
特定の入力 3D オブジェクト メッシュについて、インタラクション中の (1) 人間の動きと (2) 人間が誘導するオブジェクトのポーズの両方の分布をモデル化する動的アフォーダンスを学習します。
核となるアイデアとして、事前トレーニングされたビデオ拡散モデルを活用して、合成的に生成された 2D ビデオから 3D ダイナミック アフォーダンスを学習する方法を紹介します。
具体的には、最初に 3D オブジェクトから 2D HOI ビデオを生成し、次にそれを 3D にリフトして 4D HOI サンプルを生成するパイプラインを提案します。
さまざまなターゲット オブジェクトで多様な 4D HOI サンプルを生成したら、DAViD をトレーニングします。そこで、事前トレーニング済みの人間動作拡散モデル (MDM) とオブジェクト姿勢拡散モデル用の低ランク適応 (LoRA) モジュールに基づく方法を提示します。
人間のポーズ指導付き。
私たちのモーション拡散モデルはマルチオブジェクトインタラクション用に拡張されており、オブジェクト使用の概念を組み合わせる上で LoRA とのパイプラインの利点を示しています。
広範な実験を通じて、私たちは、HOI を使用して人間の動きを生成する際に、DAViD がベースラインを上回っていることを実証しました。

要約(オリジナル)

Understanding the ability of humans to use objects is crucial for AI to improve daily life. Existing studies for learning such ability focus on human-object patterns (e.g., contact, spatial relation, orientation) in static situations, and learning Human-Object Interaction (HOI) patterns over time (i.e., movement of human and object) is relatively less explored. In this paper, we introduce a novel type of affordance named Dynamic Affordance. For a given input 3D object mesh, we learn dynamic affordance which models the distribution of both (1) human motion and (2) human-guided object pose during interactions. As a core idea, we present a method to learn the 3D dynamic affordance from synthetically generated 2D videos, leveraging a pre-trained video diffusion model. Specifically, we propose a pipeline that first generates 2D HOI videos from the 3D object and then lifts them into 3D to generate 4D HOI samples. Once we generate diverse 4D HOI samples on various target objects, we train our DAViD, where we present a method based on the Low-Rank Adaptation (LoRA) module for pre-trained human motion diffusion model (MDM) and an object pose diffusion model with human pose guidance. Our motion diffusion model is extended for multi-object interactions, demonstrating the advantage of our pipeline with LoRA for combining the concepts of object usage. Through extensive experiments, we demonstrate our DAViD outperforms the baselines in generating human motion with HOIs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google