GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

要約

視覚データの物理的特性の推定は、コンピューター ビジョン、グラフィックス、ロボット工学において重要なタスクであり、拡張現実、物理シミュレーション、ロボットによる把握などのアプリケーションを支えています。
ただし、物理特性の推定には固有のあいまいさがあるため、この分野はまだ研究が進んでいません。
これらの課題に対処するために、材料の物理的特性を 3D ガウスに割り当てるトレーニング不要のフレームワークである GaussianProperty を導入します。
具体的には、SAM のセグメンテーション機能と GPT-4V(ision) の認識機能を統合して、2D 画像のグローバル-ローカル物理特性推論モジュールを定式化します。
次に、投票戦略を使用して、マルチビュー 2D 画像から 3D ガウスに物理特性を投影します。
物理特性アノテーションを備えた 3D ガウスにより、物理ベースの動的シミュレーションとロボットによる把握へのアプリケーションが可能になることを実証します。
物理ベースの動的シミュレーションでは、マテリアル ポイント法 (MPM) を活用して現実的な動的シミュレーションを実現します。
ロボットの把持においては、推定された物性値に基づいて物体の把持に必要な安全な力の範囲を推定する把持力予測戦略を開発します。
材料のセグメンテーション、物理ベースの動的シミュレーション、およびロボットによる把握に関する広範な実験により、提案した方法の有効性が検証され、視覚データから物理的特性を理解する際のその重要な役割が強調されています。
オンライン デモ、コード、その他のケース、注釈付きのデータセットは、\href{https://Gaussian-Property.github.io}{this https URL} で入手できます。

要約(オリジナル)

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on \href{https://Gaussian-Property.github.io}{this https URL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google