NL2Contact: Natural Language Guided 3D Hand-Object Contact Modeling with Diffusion Model

要約

手と物体の物理的接触のモデル化は、不正確な手のポーズを修正し、3D 手と物体を再構築する際の新しい人間の把握を生成するための標準です。
ただし、既存の方法は、指定または制御できない幾何学的制約に依存しています。
この論文では、自然言語記述を使用した制御可能な 3D ハンドオブジェクト接触モデリングの新しいタスクを紹介します。
課題には、i) 言語から接触までのクロスモーダル モデリングの複雑さ、ii) 接触パターンの説明文の欠如が含まれます。
これらの問題に対処するために、段階的拡散モデルを活用して制御可能な接触を生成するモデルである NL2Contact を提案します。
手と接触の言語記述が与えられると、NL2Contact は現実的で忠実な 3D 手とオブジェクトの接触を生成します。
モデルをトレーニングするために、手を中心とした連絡先の説明を含む最初のデータセットである \textit{ContactDescribe} を構築します。
これには、慎重に設計されたプロンプト (例: 掴む動作、掴むタイプ、接触位置、自由な指の状態) に基づいて大規模な言語モデルによって生成される、マルチレベルで多様な説明が含まれています。
テキストによる接触記述に基づいた、把握ポーズの最適化と新しい人間の把握生成へのモデルのアプリケーションを示します。

要約(オリジナル)

Modeling the physical contacts between the hand and object is standard for refining inaccurate hand poses and generating novel human grasp in 3D hand-object reconstruction. However, existing methods rely on geometric constraints that cannot be specified or controlled. This paper introduces a novel task of controllable 3D hand-object contact modeling with natural language descriptions. Challenges include i) the complexity of cross-modal modeling from language to contact, and ii) a lack of descriptive text for contact patterns. To address these issues, we propose NL2Contact, a model that generates controllable contacts by leveraging staged diffusion models. Given a language description of the hand and contact, NL2Contact generates realistic and faithful 3D hand-object contacts. To train the model, we build \textit{ContactDescribe}, the first dataset with hand-centered contact descriptions. It contains multi-level and diverse descriptions generated by large language models based on carefully designed prompts (e.g., grasp action, grasp type, contact location, free finger status). We show applications of our model to grasp pose optimization and novel human grasp generation, both based on a textual contact description.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google