RGB-D based Stair Detection using Deep Learning for Autonomous Stair Climbing

要約

階段は都市環境において一般的な建築構造物であり、階段の検出は自律移動ロボットにとって環境知覚の重要な部分である。既存のアルゴリズムの多くは、両眼センサからの視覚情報を効果的に組み合わせ、夜間や極めて曖昧な視覚手がかりの場合にも信頼性の高い検出を確保することが困難である。これらの問題を解決するために、我々はRGBマップと深度マップの両方を入力とするニューラルネットワークアーキテクチャを提案する。具体的には、RGBマップと奥行きマップの補完関係をネットワークに学習させ、異なるシーンにおいてRGBマップと奥行きマップの情報を効果的に組み合わせることができる選択モジュールを設計する。また、検出結果の後処理として、階段の幾何学的パラメータを得るために検出結果を十分に活用できるラインクラスタリングアルゴリズムを設計する。我々のデータセットで実験を行った結果、我々の手法は、従来の最先端のディープラーニング手法と比較して、精度と再現率がそれぞれ5.64%と7.97%と高い数値を達成できることが分かった。また、本手法は極めて高速な検出速度を有しており、軽量版では同じ解像度で毎秒300＋フレームを達成でき、ほとんどのリアルタイム検出シーンのニーズを満たすことができます。

要約(オリジナル)

Stairs are common building structures in urban environment, and stair detection is an important part of environment perception for autonomous mobile robots. Most existing algorithms have difficulty combining the visual information from binocular sensors effectively and ensuring reliable detection at night and in the case of extremely fuzzy visual clues. To solve these problems, we propose a neural network architecture with inputs of both RGB map and depth map. Specifically, we design the selective module which can make the network learn the complementary relationship between RGB map and depth map and effectively combine the information from RGB map and depth map in different scenes. In addition, we also design a line clustering algorithm for the post-processing of detection results, which can make full use of the detection results to obtain the geometric parameters of stairs. Experiments on our dataset show that our method can achieve better accuracy and recall compared with the previous state-of-the-art deep learning method, which are 5.64% and 7.97%, respectively. Our method also has extremely fast detection speed, and a lightweight version can achieve 300 + frames per second with the same resolution, which can meet the needs of most real-time detection scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL