Splat-Nav: Safe Real-Time Robot Navigation in Gaussian Splatting Maps

要約

Splat-Nav は、リアルタイムの安全な計画モジュールと、コンピューター ビジョンからの一般的な 3D シーン表現であるガウス スプラッティング (GSplat) 環境表現で動作するように設計された堅牢な状態推定モジュールで構成されるナビゲーション パイプラインです。
マップ上に安全性が保証されたポリトープ コリドーを構築するために、迅速に計算できる厳密な衝突制約を定式化します。
次に、このコリドーを通る B スプラインの軌道を最適化します。
また、GSplat 表現を点群として解釈することにより、リアルタイムのロバストな状態推定モジュールも開発します。
このモジュールにより、ロボットは点群位置合わせを使用して RGB-D 画像から事前知識ゼロでそのグローバルな姿勢を位置特定し、画像から点群への位置特定を使用して RGB 画像からシーン内を移動する自身の姿勢を追跡できます。
また、ローカリゼーションのためにより良い画像を取得するために、セマンティクスを GSplat に組み込みます。
これらのモジュールはすべて主に CPU で動作し、リアルタイム シーンの再構築などのタスクのために GPU リソースを解放します。
シミュレーションとハードウェアの両方でパイプラインの安全性と堅牢性を実証します。そこでは、5 Hz での再計画と 20 Hz での姿勢推定を示します。これは、Neural Radiance Field (NeRF) ベースのナビゲーション方法よりも桁違いに高速です。
リアルタイムナビゲーション。

要約(オリジナル)

We present Splat-Nav, a navigation pipeline that consists of a real-time safe planning module and a robust state estimation module designed to operate in the Gaussian Splatting (GSplat) environment representation, a popular emerging 3D scene representation from computer vision. We formulate rigorous collision constraints that can be computed quickly to build a guaranteed-safe polytope corridor through the map. We then optimize a B-spline trajectory through this corridor. We also develop a real-time, robust state estimation module by interpreting the GSplat representation as a point cloud. The module enables the robot to localize its global pose with zero prior knowledge from RGB-D images using point cloud alignment, and then track its own pose as it moves through the scene from RGB images using image-to-point cloud localization. We also incorporate semantics into the GSplat in order to obtain better images for localization. All of these modules operate mainly on CPU, freeing up GPU resources for tasks like real-time scene reconstruction. We demonstrate the safety and robustness of our pipeline in both simulation and hardware, where we show re-planning at 5 Hz and pose estimation at 20 Hz, an order of magnitude faster than Neural Radiance Field (NeRF)-based navigation methods, thereby enabling real-time navigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google