DecoupledGaussian: Object-Scene Decoupling for Physics-Based Interaction

要約

デコードガウスは、現実的なニュートンベースの物理シミュレーションの重要な前提条件である、ワイルド内のビデオをキャプチャした連絡先の表面から静的オブジェクトを切り離す新しいシステムです。
合成データや接触面に沿って弾力性のジッタリングに焦点を当てた以前の方法とは異なり、オブジェクトが独立して完全に分離または移動するのを防ぎますが、デカップガウスは、最初の接触面に制約されることなく、大幅な位置変化を可能にします。
3Dロケーションを復元するための現在の2Dのインパインティングツールの制限を認識して、私たちのアプローチは、分離後に両方のオブジェクトのガウスと連絡されたシーンを修復および拡張するための共同ポアソンフィールドを提案しています。
これは、オブジェクトのジオメトリを改良するためのマルチカーブ戦略によって補完されます。
当社のシステムにより、複数のシーン内および複数のシーンでの複雑な相互作用をサポートするユーザー指定のインパルスによって駆動されるデカップリングモーション、衝突、および骨折の現実的なシミュレーションが可能になります。
包括的なユーザー調査と定量的ベンチマークを通じて、デコードガウスを検証します。
このシステムは、VR、ロボット工学、自律運転などの産業に利益をもたらす、実際の環境でのオブジェクトやシーンとのデジタル相互作用を強化します。
プロジェクトページは、https：//wangmiaowei.github.io/decoupledgaussian.github.io/にあります。

要約(オリジナル)

We present DecoupledGaussian, a novel system that decouples static objects from their contacted surfaces captured in-the-wild videos, a key prerequisite for realistic Newtonian-based physical simulations. Unlike prior methods focused on synthetic data or elastic jittering along the contact surface, which prevent objects from fully detaching or moving independently, DecoupledGaussian allows for significant positional changes without being constrained by the initial contacted surface. Recognizing the limitations of current 2D inpainting tools for restoring 3D locations, our approach proposes joint Poisson fields to repair and expand the Gaussians of both objects and contacted scenes after separation. This is complemented by a multi-carve strategy to refine the object’s geometry. Our system enables realistic simulations of decoupling motions, collisions, and fractures driven by user-specified impulses, supporting complex interactions within and across multiple scenes. We validate DecoupledGaussian through a comprehensive user study and quantitative benchmarks. This system enhances digital interaction with objects and scenes in real-world environments, benefiting industries such as VR, robotics, and autonomous driving. Our project page is at: https://wangmiaowei.github.io/DecoupledGaussian.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google