Real-time Multi-view Omnidirectional Depth Estimation System for Robots and Autonomous Driving on Real Scenes

要約

全方向深度推定は、ロボットナビゲーションや自動運転などの分野で幅広い応用が期待されています。
この論文では、ロボットと車両の両方の実世界のシナリオにおけるナビゲーションと障害物回避のための全方向深度推定を検証するために設計されたロボットプロトタイプシステムと対応するアルゴリズムを提案します。
提案された HexaMODE システムは、周囲に配置された 6 台の魚眼カメラを使用して 360$^\circ$ の深度マップをキャプチャします。
組み合わせた球面スイープ法を導入し、提案された RtHexa-OmniMVS アルゴリズムのモデル アーキテクチャを最適化して、リアルタイムの全方向深度推定を実現します。
実世界の環境で高い精度、堅牢性、一般化を確保するために、教師と生徒の自己トレーニング戦略を採用し、大規模なラベルなしの実世界データをモデルのトレーニングに利用します。
提案されたアルゴリズムは、屋内と屋外の両方のさまざまな複雑な現実世界のシナリオで高い精度を実証し、エッジ コンピューティング プラットフォームで 15 fps の推論速度を達成します。

要約(オリジナル)

Omnidirectional Depth Estimation has broad application prospects in fields such as robotic navigation and autonomous driving. In this paper, we propose a robotic prototype system and corresponding algorithm designed to validate omnidirectional depth estimation for navigation and obstacle avoidance in real-world scenarios for both robots and vehicles. The proposed HexaMODE system captures 360$^\circ$ depth maps using six surrounding arranged fisheye cameras. We introduce a combined spherical sweeping method and optimize the model architecture for proposed RtHexa-OmniMVS algorithm to achieve real-time omnidirectional depth estimation. To ensure high accuracy, robustness, and generalization in real-world environments, we employ a teacher-student self-training strategy, utilizing large-scale unlabeled real-world data for model training. The proposed algorithm demonstrates high accuracy in various complex real-world scenarios, both indoors and outdoors, achieving an inference speed of 15 fps on edge computing platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google