NeuSE: Neural SE(3)-Equivariant Embedding for Consistent Spatial Understanding with Objects

要約

オブジェクト用の新しい Neural SE(3)-Equivariant Embedding である NeuSE を紹介し、長期的なシーン変化に伴う一貫した空間理解のためにオブジェクト SLAM をどのようにサポートするかを説明します。
NeuSE は、部分的なオブジェクトの観察から作成された潜在オブジェクトの埋め込みのセットです。
これは、完全なオブジェクト モデルのコンパクトな点群の代用として機能し、物理世界のオブジェクトと連動して SE(3) を等価に変換しながら完全な形状情報をエンコードします。
NeuSE を使用すると、相対フレーム変換を推論された潜在コードから直接導き出すことができます。
私たちが提案する SLAM パラダイムは、オブジェクトの形状と姿勢の特徴付けに NeuSE を使用しており、独立して動作することも、一般的な SLAM システムと連携して動作することもできます。
一般的な SLAM ポーズ グラフの最適化と互換性のある SE(3) カメラ ポーズ制約を直接推論すると同時に、現実世界の変化に適応する軽量のオブジェクト中心のマップも維持します。
私たちのアプローチは、変更されたオブジェクトを特徴とする合成シーケンスと現実世界のシーケンスで評価され、スタンドアロンで動作する場合、または共通の SLAM パイプラインと共同で動作する場合に、位置特定精度と変更認識マッピング機能が向上していることが示されています。

要約(オリジナル)

We present NeuSE, a novel Neural SE(3)-Equivariant Embedding for objects, and illustrate how it supports object SLAM for consistent spatial understanding with long-term scene changes. NeuSE is a set of latent object embeddings created from partial object observations. It serves as a compact point cloud surrogate for complete object models, encoding full shape information while transforming SE(3)-equivariantly in tandem with the object in the physical world. With NeuSE, relative frame transforms can be directly derived from inferred latent codes. Our proposed SLAM paradigm, using NeuSE for object shape and pose characterization, can operate independently or in conjunction with typical SLAM systems. It directly infers SE(3) camera pose constraints that are compatible with general SLAM pose graph optimization, while also maintaining a lightweight object-centric map that adapts to real-world changes. Our approach is evaluated on synthetic and real-world sequences featuring changed objects and shows improved localization accuracy and change-aware mapping capability, when working either standalone or jointly with a common SLAM pipeline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google