InterDiff: Generating 3D Human-Object Interactions with Physics-Informed Diffusion

要約

この論文では、3D の人間とオブジェクトのインタラクション (HOI) を予測するという新しいタスクに取り組みます。
HOI 合成に関する既存の研究のほとんどには、動的なオブジェクトとの包括的な全身インタラクションが欠けており、たとえば、小さなオブジェクトや静的なオブジェクトの操作に限定されることがよくあります。
さまざまな形状の動的オブジェクトをモデリングし、全身の動きをキャプチャし、物理的に有効な相互作用を確保する必要があるため、私たちのタスクは非常に困難です。
この目的を達成するために、我々は InterDiff という 2 つの重要なステップで構成されるフレームワークを提案します。(i) インタラクション拡散。拡散モデルを活用して将来の人間とオブジェクトのインタラクションの分布をエンコードします。
(ii) 相互作用補正。物理学に基づいた予測子を導入して、拡散ステップでノイズ除去された HOI を補正します。
私たちの重要な洞察は、接触点に関して参照される相互作用が単純なパターンに従い、容易に予測可能であるという事前知識を注入することです。
複数の人間とオブジェクトのインタラクション データセットの実験により、このタスクに対する私たちの方法の有効性が実証され、現実的で鮮明な、そして驚くほど長期的な 3D HOI 予測を生成できるようになりました。

要約(オリジナル)

This paper addresses a novel task of anticipating 3D human-object interactions (HOIs). Most existing research on HOI synthesis lacks comprehensive whole-body interactions with dynamic objects, e.g., often limited to manipulating small or static objects. Our task is significantly more challenging, as it requires modeling dynamic objects with various shapes, capturing whole-body motion, and ensuring physically valid interactions. To this end, we propose InterDiff, a framework comprising two key steps: (i) interaction diffusion, where we leverage a diffusion model to encode the distribution of future human-object interactions; (ii) interaction correction, where we introduce a physics-informed predictor to correct denoised HOIs in a diffusion step. Our key insight is to inject prior knowledge that the interactions under reference with respect to contact points follow a simple pattern and are easily predictable. Experiments on multiple human-object interaction datasets demonstrate the effectiveness of our method for this task, capable of producing realistic, vivid, and remarkably long-term 3D HOI predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google