Living Scenes: Multi-object Relocalization and Reconstruction in Changing 3D Environments

要約

動的な 3D シーンの理解に関する研究は、主に密集した観測からの短期的な変化の追跡に焦点を当ててきましたが、疎な観測による長期的な変化にはほとんど注意が払われてきませんでした。
私たちは、進化する環境におけるマルチオブジェクトの再局在化と再構築のための新しいアプローチである MoRE を使用して、このギャップに対処します。
私たちはこれらの環境を「生きているシーン」と見なし、さまざまな時点で取得されたスキャンをオブジェクト インスタンスの 3D 再構成に変換する問題を検討します。その精度と完全性は時間の経過とともに向上します。
私たちの手法の中核には、合成データでトレーニングされた、単一のエンコーダー/デコーダー ネットワーク内の SE(3) 等変表現があります。
この表現により、インスタンスのマッチング、登録、再構築にシームレスに取り組むことができます。
また、異なる時点で取得された複数のスキャンにわたる同じインスタンスから発生する点群の蓄積を容易にする共同最適化アルゴリズムも導入します。
私たちは合成データと実世界のデータでメソッドを検証し、エンドツーエンドのパフォーマンスと個々のサブタスクの両方で最先端のパフォーマンスを実証します。

要約(オリジナル)

Research into dynamic 3D scene understanding has primarily focused on short-term change tracking from dense observations, while little attention has been paid to long-term changes with sparse observations. We address this gap with MoRE, a novel approach for multi-object relocalization and reconstruction in evolving environments. We view these environments as ‘living scenes’ and consider the problem of transforming scans taken at different points in time into a 3D reconstruction of the object instances, whose accuracy and completeness increase over time. At the core of our method lies an SE(3)-equivariant representation in a single encoder-decoder network, trained on synthetic data. This representation enables us to seamlessly tackle instance matching, registration, and reconstruction. We also introduce a joint optimization algorithm that facilitates the accumulation of point clouds originating from the same instance across multiple scans taken at different points in time. We validate our method on synthetic and real-world data and demonstrate state-of-the-art performance in both end-to-end performance and individual subtasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google