RGB-D-based Stair Detection using Deep Learning for Autonomous Stair Climbing

要約

階段は都市環境の一般的な建物構造であり、階段の検出は自律移動ロボットの環境認識の重要な部分です。
ほとんどの既存のアルゴリズムでは、両眼センサーからの視覚情報を効果的に組み合わせて、夜間や非常にあいまいな視覚的手がかりの場合に信頼性の高い検出を確保することが困難です。
これらの問題を解決するために、RGB と深度マップ入力を備えたニューラル ネットワーク アーキテクチャを提案します。
具体的には、ネットワークにRGBマップと深度マップの間の補完関係を学習させ、異なるシーンでRGBマップと深度マップからの情報を効果的に組み合わせることができる選択的なモジュールを設計します。
さらに、検出結果の後処理のためのライン クラスタリング アルゴリズムを設計します。これにより、検出結果を十分に活用して幾何学的な階段パラメータを取得できます。
データセットでの実験では、既存の最先端の深層学習手法 (それぞれ 5.64% と 7.97%) と比較して、精度と再現率が向上し、検出速度も非常に高速であることが示されています。
軽量バージョンは、同じ解像度で毎秒 300 フレーム以上を達成でき、ほとんどのリアルタイム検出シーンのニーズを満たすことができます。

要約(オリジナル)

Stairs are common building structures in urban environments, and stair detection is an important part of environment perception for autonomous mobile robots. Most existing algorithms have difficulty combining the visual information from binocular sensors effectively and ensuring reliable detection at night and in the case of extremely fuzzy visual clues. To solve these problems, we propose a neural network architecture with RGB and depth map inputs. Specifically, we design a selective module, which can make the network learn the complementary relationship between the RGB map and the depth map and effectively combine the information from the RGB map and the depth map in different scenes. In addition, we design a line clustering algorithm for the postprocessing of detection results, which can make full use of the detection results to obtain the geometric stair parameters. Experiments on our dataset show that our method can achieve better accuracy and recall compared with existing state-of-the-art deep learning methods, which are 5.64% and 7.97%, respectively, and our method also has extremely fast detection speed. A lightweight version can achieve 300 + frames per second with the same resolution, which can meet the needs of most real-time detection scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google