NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

要約

私たちは、シーン内のオブジェクトと対話する人間のリアルな 3D モーションを生成する問題に取り組みます。
私たちの重要なアイデアは、特定のオブジェクトにアタッチされたニューラル インタラクション フィールドを作成し、入力として人間のポーズが与えられた場合に、有効なインタラクション多様体までの距離を出力することです。
この相互作用フィールドは、オブジェクト条件付き人間動作拡散モデルのサンプリングをガイドし、妥当な接触とアフォーダンス セマンティクスを促進します。
ほとんど入手できないデータとのやり取りをサポートするために、自動化された合成データ パイプラインを提案します。
このために、限られたモーション キャプチャ データから抽出されたインタラクション固有のアンカー ポーズを使用して、人間の動きの基本に関する事前学習を備えた事前トレーニングされたモーション モデルをシードします。
生成された合成データでトレーニングされたガイド付き拡散モデルを使用して、複数の物体を使って座ったり持ち上げたりする現実的なモーションを合成し、モーションの品質とアクションの正常な完了の点で他のアプローチよりも優れたパフォーマンスを発揮します。
私たちはこのフレームワークを NIFTY: Neural Interaction Fields for Trajectory synthesis と呼んでいます。

要約(オリジナル)

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google