StairNetV3: Depth-aware Stair Modeling using Deep Learning

要約

視覚ベースの階段認識は、自律移動ロボットが、特に不慣れな環境で階段を登るという課題に対処するのに役立ちます。
現在の単眼視法では奥行き情報がなければ階段を正確にモデル化することが難しいという問題に対処するために、本論文では単眼視用の奥行きを意識した階段モデリング法を提案する。
具体的には、階段の幾何学的特徴の抽出と深度画像の予測を畳み込みニューラル ネットワーク (CNN) の共同タスクとして取り上げ、設計された情報伝播アーキテクチャを使用して、深度情報による階段の幾何学的特徴学習の効果的な監視を実現できます。
さらに、階段モデリングを完成させるために、凸線、凹線、踏み面、蹴上げ面を階段の幾何学的特徴として取得し、ガウス カーネルを適用して、ネットワークが階段線内のコンテキスト情報を予測できるようにします。
深度センサーによって得られる深度情報と組み合わせて、階段の段差面に属する点群を迅速に取得できる階段点群再構成手法を提案します。
データセットの実験では、私たちの手法が以前の最良の単眼視覚手法に比べて大幅に改善されており、交差オーバーユニオン (IOU) が 3.4 % 増加しており、軽量バージョンは検出速度が速く、ほとんどの実際の要件を満たすことができます。
-時間アプリケーション。
データセットは https://data.mendeley.com/datasets/6kffmjt7g2/1 で入手できます。

要約(オリジナル)

Vision-based stair perception can help autonomous mobile robots deal with the challenge of climbing stairs, especially in unfamiliar environments. To address the problem that current monocular vision methods are difficult to model stairs accurately without depth information, this paper proposes a depth-aware stair modeling method for monocular vision. Specifically, we take the extraction of stair geometric features and the prediction of depth images as joint tasks in a convolutional neural network (CNN), with the designed information propagation architecture, we can achieve effective supervision for stair geometric feature learning by depth information. In addition, to complete the stair modeling, we take the convex lines, concave lines, tread surfaces and riser surfaces as stair geometric features and apply Gaussian kernels to enable the network to predict contextual information within the stair lines. Combined with the depth information obtained by depth sensors, we propose a stair point cloud reconstruction method that can quickly get point clouds belonging to the stair step surfaces. Experiments on our dataset show that our method has a significant improvement over the previous best monocular vision method, with an intersection over union (IOU) increase of 3.4 %, and the lightweight version has a fast detection speed and can meet the requirements of most real-time applications. Our dataset is available at https://data.mendeley.com/datasets/6kffmjt7g2/1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google