Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

要約

ニューラル レンダリングと SLAM システムの統合は、最近、共同位置特定とフォトリアリスティックなビューの再構築において有望な結果を示しました。
ただし、暗黙的表現に完全に依存する既存のメソッドは、リソースを大量に消費するため、ポータブル デバイス上で実行できません。これは、SLAM の本来の目的から逸脱します。
この論文では、ハイパープリミティブ マップを備えた新しい SLAM フレームワークである Photo-SLAM を紹介します。
具体的には、位置特定のために明示的な幾何学的特徴を利用し、観察された環境のテクスチャ情報を表す暗黙的な測光特徴を同時に学習します。
幾何学的特徴に基づいてハイパー プリミティブを積極的に高密度化することに加えて、マルチレベルの特徴を段階的に学習するためのガウス ピラミッド ベースのトレーニング方法をさらに導入し、フォトリアリスティックなマッピングのパフォーマンスを向上させます。
単眼データセット、ステレオデータセット、および RGB-D データセットを使用した広範な実験により、私たちが提案するシステム Photo-SLAM が、オンラインの写真のようにリアルなマッピングにおいて現在の最先端の SLAM システムよりも大幅に優れていることが証明されています。たとえば、PSNR は 30% 高く、レンダリング速度は数百倍です。
レプリカ データセットでは何倍も高速になります。
さらに、Photo-SLAM は、Jetson AGX Orin などの組み込みプラットフォームを使用してリアルタイム速度で実行でき、ロボット工学アプリケーションの可能性を示しています。

要約(オリジナル)

The integration of neural rendering and the SLAM system recently showed promising results in joint localization and photorealistic view reconstruction. However, existing methods, fully relying on implicit representations, are so resource-hungry that they cannot run on portable devices, which deviates from the original intention of SLAM. In this paper, we present Photo-SLAM, a novel SLAM framework with a hyper primitives map. Specifically, we simultaneously exploit explicit geometric features for localization and learn implicit photometric features to represent the texture information of the observed environment. In addition to actively densifying hyper primitives based on geometric features, we further introduce a Gaussian-Pyramid-based training method to progressively learn multi-level features, enhancing photorealistic mapping performance. The extensive experiments with monocular, stereo, and RGB-D datasets prove that our proposed system Photo-SLAM significantly outperforms current state-of-the-art SLAM systems for online photorealistic mapping, e.g., PSNR is 30% higher and rendering speed is hundreds of times faster in the Replica dataset. Moreover, the Photo-SLAM can run at real-time speed using an embedded platform such as Jetson AGX Orin, showing the potential of robotics applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google