Volume-DROID: A Real-Time Implementation of Volumetric Mapping with DROID-SLAM

要約

このペーパーでは、ボリューム マッピングと微分可能再帰最適化に基づく設計 (DROID) を統合した、同時位置特定とマッピング (SLAM) の新しいアプローチであるボリューム DROID について説明します。
Volume-DROID は、カメラ画像 (単眼またはステレオ) またはビデオからフレームを入力として取得し、DROID-SLAM、点群登録、既製のセマンティック セグメンテーション ネットワーク、および畳み込みベイジアン カーネル推論 (ConvBKI) を組み合わせて 3D
環境のセマンティック マップを作成し、ロボットの正確な位置特定を提供します。
私たちの手法の主な革新は、DROID-SLAM と畳み込みベイジアン カーネル推論 (ConvBKI) のリアルタイムの融合です。これは、RGB 深度フレームと最適化されたカメラ ポーズからの点群生成の導入によって実現されます。
この統合は、効率的かつタイムリーな処理を可能にするように設計されており、遅延を最小限に抑え、システムの効果的なパフォーマンスを保証します。
私たちのアプローチは、カメラ画像またはステレオビデオ入力だけで、機能的なリアルタイムのオンラインセマンティックマッピングを容易にします。
私たちの論文では、アルゴリズムのオープンソース Python 実装を提供しています。https://github.com/peterstratton/Volume-DROID で入手できます。

要約(オリジナル)

This paper presents Volume-DROID, a novel approach for Simultaneous Localization and Mapping (SLAM) that integrates Volumetric Mapping and Differentiable Recurrent Optimization-Inspired Design (DROID). Volume-DROID takes camera images (monocular or stereo) or frames from a video as input and combines DROID-SLAM, point cloud registration, an off-the-shelf semantic segmentation network, and Convolutional Bayesian Kernel Inference (ConvBKI) to generate a 3D semantic map of the environment and provide accurate localization for the robot. The key innovation of our method is the real-time fusion of DROID-SLAM and Convolutional Bayesian Kernel Inference (ConvBKI), achieved through the introduction of point cloud generation from RGB-Depth frames and optimized camera poses. This integration, engineered to enable efficient and timely processing, minimizes lag and ensures effective performance of the system. Our approach facilitates functional real-time online semantic mapping with just camera images or stereo video input. Our paper offers an open-source Python implementation of the algorithm, available at https://github.com/peterstratton/Volume-DROID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google