MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

要約

質量などの物体の物理的特性は、私たちが手でそれを操作する方法に大きく影響します。
驚くべきことに、この側面は、3D モーション合成に関するこれまでの研究ではこれまで無視されてきました。
合成された 3D ハンド オブジェクトのモーションの自然さを改善するために、この研究では、最初の MAss 条件付き 3D 手とオブジェクトのモーション合成アプローチである MACS を提案しています。
私たちのアプローチはカスケード拡散モデルに基づいており、オブジェクトの質量と相互作用のタイプに基づいてもっともらしく調整される相互作用を生成します。
MACS はまた、手動で描かれた 3D オブジェクトの軌道を入力として受け入れ、オブジェクトの質量によって条件付けられた自然な 3D 手の動きを合成します。
この柔軟性により、MACS をさまざまなダウンストリーム アプリケーション (ML タスク用の合成トレーニング データの生成、グラフィックス ワークフロー用の手の高速アニメーション、コンピューター ゲーム用のキャラクター インタラクションの生成など) に使用できるようになります。
私たちは、MACS がトレーニング中には見えない内挿および外挿されたオブジェクトの質量全体を合理的に一般化するには、小規模のデータセットで十分であることを実験的に示します。
さらに、MACS は、表面接触合成モデル ConNet によって生成された質量条件付き接触ラベルのおかげで、目に見えないオブジェクトに対して適度な一般化を示します。
私たちの包括的なユーザー調査により、合成された 3D ハンドオブジェクトのインタラクションが非常に妥当性があり、現実的であることが確認されています。

要約(オリジナル)

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google