GrASPE: Graph based Multimodal Fusion for Robot Navigation in Unstructured Outdoor Environments

要約

複雑な屋外環境におけるロボットナビゲーションのための新しい軌道通過可能性推定および計画アルゴリズムを紹介します。
RGB カメラ、3D LiDAR、ロボットのオドメトリ センサーからのマルチモーダル感覚入力を組み込んで、部分的に信頼できるマルチモーダル センサーの観測に基づいて候補軌道の成功確率を推定する予測モデルをトレーニングします。
私たちは、エンコーダー ネットワークを使用して、高次元のマルチモーダル感覚入力を低次元の特徴ベクトルにエンコードし、それらを接続されたグラフとして表現します。
次に、このグラフを使用して、注意ベースのグラフ ニューラル ネットワーク (GNN) をトレーニングし、軌道の成功確率を予測します。
さらに、画像 (コーナー) と点群データ (エッジと平面) の特徴の数を個別に分析して、その信頼性を定量化し、GNN で使用される特徴グラフ表現の重みを強化します。
実行時に、モデルはマルチセンサー入力を利用して、ローカル プランナーによって生成された軌道の成功確率を予測し、潜在的な衝突や失敗を回避します。
当社のアルゴリズムは、複雑な屋外環境で 1 つ以上のセンサー モダリティが信頼できない場合、または使用できない場合でも、堅牢な予測を実証します。
実際の屋外環境で Spot ロボットを使用して、アルゴリズムのナビゲーション パフォーマンスを評価します。
最先端のナビゲーション方法と比較して、ナビゲーション成功率が 10 ～ 30% 増加し、誤検知推定が 13 ～ 15% 減少していることがわかります。

要約(オリジナル)

We present a novel trajectory traversability estimation and planning algorithm for robot navigation in complex outdoor environments. We incorporate multimodal sensory inputs from an RGB camera, 3D LiDAR, and the robot’s odometry sensor to train a prediction model to estimate candidate trajectories’ success probabilities based on partially reliable multi-modal sensor observations. We encode high-dimensional multi-modal sensory inputs to low-dimensional feature vectors using encoder networks and represent them as a connected graph. The graph is then used to train an attention-based Graph Neural Network (GNN) to predict trajectory success probabilities. We further analyze the number of features in the image (corners) and point cloud data (edges and planes) separately to quantify their reliability to augment the weights of the feature graph representation used in our GNN. During runtime, our model utilizes multi-sensor inputs to predict the success probabilities of the trajectories generated by a local planner to avoid potential collisions and failures. Our algorithm demonstrates robust predictions when one or more sensor modalities are unreliable or unavailable in complex outdoor environments. We evaluate our algorithm’s navigation performance using a Spot robot in real-world outdoor environments. We observe an increase of 10-30% in terms of navigation success rate and a 13-15% decrease in false positive estimations compared to the state-of-the-art navigation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google