Mono-hydra: Real-time 3D scene graph construction from monocular camera input with IMU

要約

ロボットが 3D 環境内を自律的に移動できるかどうかは、低レベルの幾何学から物体、場所、建物などの高レベルのセマンティクスに至るまでの空間概念の理解度に依存します。
このような理解を可能にするために、3D シーン グラフは、環境を概念とその関係の階層化されたグラフとして表現するための強力なツールとして登場しました。
ただし、単眼視覚システムを使用してこれらの表現をリアルタイムで構築することは依然として困難な作業であり、深く検討されていません。
この論文では、屋内シナリオに焦点を当て、単眼カメラと IMU センサー セットアップを組み合わせたリアルタイム空間認識システム Mono-Hydra を提案します。
ただし、提案されたアプローチは屋外用途に適応可能であり、潜在的な用途に柔軟性をもたらします。
このシステムは、一連の深層学習アルゴリズムを採用して、深さとセマンティクスを導き出します。
平方根情報に基づくロボセントリック視覚慣性オドメトリ (VIO) アルゴリズムを使用するため、IMU と単眼カメラによる一貫した視覚オドメトリが保証されます。
このシステムは、15 fps のリアルタイム処理で 20 cm 未満の誤差を達成し、ラップトップ GPU (NVIDIA 3080) を使用したリアルタイム 3D シーン グラフ構築を可能にします。
これにより、シンプルなカメラ設定での意思決定の効率と有効性が向上し、ロボット システムの俊敏性が向上します。
Mono-Hydra は https://github.com/UAV-Centre-ITC/Mono_Hydra で公開されています。

要約(オリジナル)

The ability of robots to autonomously navigate through 3D environments depends on their comprehension of spatial concepts, ranging from low-level geometry to high-level semantics, such as objects, places, and buildings. To enable such comprehension, 3D scene graphs have emerged as a robust tool for representing the environment as a layered graph of concepts and their relationships. However, building these representations using monocular vision systems in real-time remains a difficult task that has not been explored in depth. This paper puts forth a real-time spatial perception system Mono-Hydra, combining a monocular camera and an IMU sensor setup, focusing on indoor scenarios. However, the proposed approach is adaptable to outdoor applications, offering flexibility in its potential uses. The system employs a suite of deep learning algorithms to derive depth and semantics. It uses a robocentric visual-inertial odometry (VIO) algorithm based on square-root information, thereby ensuring consistent visual odometry with an IMU and a monocular camera. This system achieves sub-20 cm error in real-time processing at 15 fps, enabling real-time 3D scene graph construction using a laptop GPU (NVIDIA 3080). This enhances decision-making efficiency and effectiveness in simple camera setups, augmenting robotic system agility. We make Mono-Hydra publicly available at: https://github.com/UAV-Centre-ITC/Mono_Hydra

arxiv情報

提供元, 利用サービス

arxiv.jp, Google