SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields for Robotic Inspection

要約

我々は、LIDAR データとビジョン データを融合して、幾何学的に正確で写真のようにリアルなテクスチャをキャプチャする高品質の再構成を生成する、ニューラル フィールド ベースの大規模再構成システムを紹介します。
このシステムは、最先端の神経放射フィールド (NeRF) 表現を採用して、深さと表面法線に強力な幾何学的制約を追加する LIDAR データも組み込んでいます。
私たちは、リアルタイム LIDAR SLAM システムからの軌道を利用して、Structure-from-Motion (SfM) プロシージャをブートストラップして、計算時間を大幅に短縮し、LIDAR の深度損失に重要なメートルスケールを提供します。
サブマッピングを使用して、長い軌跡でキャプチャされた大規模な環境にシステムを拡張します。
私たちは、脚付きロボットに搭載されたマルチカメラ、LiDAR センサースイートからのデータを使用して再構成システムをデモンストレーションします。このシステムは、600 メートルの建物シーンをスキャンしながら手持ち式で移動する脚付きロボットと、多階建ての模擬災害現場の建物を調査する航空機搭載ロボットに搭載されています。
ウェブサイト: https://ori-drs.github.io/projects/silvr/

要約(オリジナル)

We present a neural-field-based large-scale reconstruction system that fuses lidar and vision data to generate high-quality reconstructions that are geometrically accurate and capture photo-realistic textures. This system adapts the state-of-the-art neural radiance field (NeRF) representation to also incorporate lidar data which adds strong geometric constraints on the depth and surface normals. We exploit the trajectory from a real-time lidar SLAM system to bootstrap a Structure-from-Motion (SfM) procedure to both significantly reduce the computation time and to provide metric scale which is crucial for lidar depth loss. We use submapping to scale the system to large-scale environments captured over long trajectories. We demonstrate the reconstruction system with data from a multi-camera, lidar sensor suite onboard a legged robot, hand-held while scanning building scenes for 600 metres, and onboard an aerial robot surveying a multi-storey mock disaster site-building. Website: https://ori-drs.github.io/projects/silvr/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google