PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

要約

現実的なオブジェクトのインタラクションは、没入型の仮想体験を作成するために不可欠ですが、新しいインタラクションに応じて現実的な 3D オブジェクトのダイナミクスを合成することは依然として大きな課題です。
無条件またはテキスト条件付きダイナミクス生成とは異なり、アクション条件付きダイナミクスでは、オブジェクトの物理的なマテリアル特性を認識し、オブジェクトの剛性などのこれらの特性に基づいて 3D モーション予測を行う必要があります。
ただし、実際の物体についてこれらの特性を測定することは非常に困難であるため、物理的な材料特性の推定は、材料のグラウンドトゥルース データが不足しているため未解決の問題です。
ビデオ生成モデルによって学習されたオブジェクト ダイナミクスの事前分布を活用することで、静的な 3D オブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである PhysDreamer を紹介します。
これらの事前分布を蒸留することにより、PhysDreamer は、外力やエージェントの操作などの新しい相互作用に対する現実的なオブジェクトの応答を合成できます。
私たちは、弾性オブジェクトのさまざまな例に対するアプローチを実証し、ユーザー調査を通じて合成されたインタラクションのリアリズムを評価します。
PhysDreamer は、静的な 3D オブジェクトが物理的に妥当な方法でインタラクティブな刺激に動的に応答できるようにすることで、より魅力的で現実的な仮想体験への一歩を踏み出します。
https://physdreamer.github.io/ のプロジェクト ページをご覧ください。

要約(オリジナル)

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google