GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation

要約

この論文では、視覚的観察による物理的特性の推定 (システム同定) の問題を研究します。
物理特性の推定におけるジオメトリを意識したガイダンスを容易にするために、3D ガウス表現を利用して明示的な形状をキャプチャするだけでなく、シミュレートされた連続体がトレーニング中にオブジェクト マスクを 2D 形状サロゲートとしてレンダリングできるようにする新しいハイブリッド フレームワークを導入します。
我々は、異なる時間状態にわたってオブジェクトを 3D ガウス点セットとして復元するために、動き分解に基づいた新しい動的 3D ガウス フレームワークを提案します。
さらに、ガウス再構成からオブジェクトの密度フィールドを生成するための粗いものから細かいものへの充填戦略を開発します。これにより、オブジェクトの連続体をその表面とともに抽出し、ガウス属性をこれらの連続体に統合することが可能になります。
抽出されたオブジェクト表面に加えて、ガウス情報連続体により、シミュレーション中にオブジェクト マスクのレンダリングも可能になり、物理特性推定のための 2D 形状のガイダンスとして機能します。
広範な実験評価により、当社のパイプラインが複数のベンチマークと指標にわたって最先端のパフォーマンスを達成していることが実証されています。
さらに、実際のデモンストレーションを通じて提案手法の有効性を説明し、その実用性を示します。
私たちのプロジェクトページは https://jukgei.github.io/project/gic にあります。

要約(オリジナル)

This paper studies the problem of estimating physical properties (system identification) through visual observations. To facilitate geometry-aware guidance in physical property estimation, we introduce a novel hybrid framework that leverages 3D Gaussian representation to not only capture explicit shapes but also enable the simulated continuum to render object masks as 2D shape surrogates during training. We propose a new dynamic 3D Gaussian framework based on motion factorization to recover the object as 3D Gaussian point sets across different time states. Furthermore, we develop a coarse-to-fine filling strategy to generate the density fields of the object from the Gaussian reconstruction, allowing for the extraction of object continuums along with their surfaces and the integration of Gaussian attributes into these continuum. In addition to the extracted object surfaces, the Gaussian-informed continuum also enables the rendering of object masks during simulations, serving as 2D-shape guidance for physical property estimation. Extensive experimental evaluations demonstrate that our pipeline achieves state-of-the-art performance across multiple benchmarks and metrics. Additionally, we illustrate the effectiveness of the proposed method through real-world demonstrations, showcasing its practical utility. Our project page is at https://jukgei.github.io/project/gic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google