3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement

要約

我々は、3D シーン内の物理オブジェクトの再配置を検出するための最初の 3D ガウス スプラッティング (3DGS) ベースの方法である 3DGS-CD を紹介します。
私たちのアプローチは、異なる時間に撮影された 2 セットの位置合わせされていない画像を比較することにより、3D オブジェクト レベルの変化を推定します。
3DGS の新しいビュー レンダリングと EfficientSAM のゼロショット セグメンテーション機能を活用して、2D オブジェクト レベルの変化を検出し、それをビュー全体に関連付けて融合して 3D の変化を推定します。
私たちの方法では、わずか 1 枚の新しい画像を使用して、まばらな変更後の画像を使用して、わずか 18 秒以内に乱雑な環境の変化を検出できます。
深度入力、ユーザー指示、オブジェクト クラス、またはオブジェクト モデルに依存しません。オブジェクトは再配置されただけで認識されます。
私たちのアプローチは、公開データセットと自己収集した現実世界のデータセットの両方で評価され、最先端の放射輝度場ベースの変化検出方法と比較して、最大 14% 高い精度と 3 桁高速なパフォーマンスを達成しています。
この大幅なパフォーマンス向上により、幅広いダウンストリーム アプリケーションが可能になります。ここでは、オブジェクトの再構築、ロボット ワークスペースのリセット、3DGS モデルの更新という 3 つの主要なユースケースを取り上げます。
私たちのコードとデータは https://github.com/520xyxyzq/3DGS-CD で利用できるようになります。

要約(オリジナル)

We present 3DGS-CD, the first 3D Gaussian Splatting (3DGS)-based method for detecting physical object rearrangements in 3D scenes. Our approach estimates 3D object-level changes by comparing two sets of unaligned images taken at different times. Leveraging 3DGS’s novel view rendering and EfficientSAM’s zero-shot segmentation capabilities, we detect 2D object-level changes, which are then associated and fused across views to estimate 3D changes. Our method can detect changes in cluttered environments using sparse post-change images within as little as 18s, using as few as a single new image. It does not rely on depth input, user instructions, object classes, or object models — An object is recognized simply if it has been re-arranged. Our approach is evaluated on both public and self-collected real-world datasets, achieving up to 14% higher accuracy and three orders of magnitude faster performance compared to the state-of-the-art radiance-field-based change detection method. This significant performance boost enables a broad range of downstream applications, where we highlight three key use cases: object reconstruction, robot workspace reset, and 3DGS model update. Our code and data will be made available at https://github.com/520xyxyzq/3DGS-CD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google