Fusing Structure from Motion and Simulation-Augmented Pose Regression from Optical Flow for Challenging Indoor Environments

要約

オブジェクトの位置特定は、ロボット工学、仮想現実と拡張現実、倉庫内での商品の輸送などのさまざまなアプリケーションにおいて重要なタスクです。
深層学習の最近の進歩により、単眼視覚カメラを使用した位置特定が可能になりました。
Structure from motion (SfM) は点群から絶対姿勢を予測しますが、絶対姿勢回帰 (APR) 手法はニューラル ネットワークを通じて環境の意味論的な理解を学習します。
ただし、どちらの分野も、モーション ブラー、照明の変化、反復パターン、特徴のない構造などの環境によって引き起こされる課題に直面しています。
この研究は、追加情報を組み込み、相対姿勢回帰 (RPR) 手法を使用して絶対姿勢を正規化することで、これらの課題に対処することを目的としています。
RPR 手法は、モーション ブラーなどのさまざまな課題に悩まされます。
連続した画像間のオプティカル フローは、Lucas-Kanade アルゴリズムを使用して計算され、相対姿勢は補助的な小規模再帰畳み込みネットワークを使用して予測されます。
絶対ポーズと相対ポーズの融合は、グローバル座標系とローカル座標系の間に不一致があるため、複雑な作業です。
絶対ポーズと相対ポーズを融合する最先端の手法では、ポーズ グラフ最適化 (PGO) を使用して、相対ポーズを使用して絶対ポーズ予測を正規化します。
この研究では、絶対姿勢予測と相対姿勢予測を最適に調整して絶対姿勢予測を改善するリカレント フュージョン ネットワークを提案します。
私たちは 8 つの異なる反復ユニットを評価し、より一般化されたトレーニングのために APR および RPR ネットワークを事前トレーニングするためのシミュレーション環境を構築します。
さらに、輸送ロボットを備えた倉庫を模倣した、困難な大規模屋内環境におけるさまざまなシナリオの大規模なデータベースを記録します。
PGO と比較したリカレント フュージョン法の有効性を示すために、ハイパーパラメーターの検索と実験を実施します。

要約(オリジナル)

The localization of objects is a crucial task in various applications such as robotics, virtual and augmented reality, and the transportation of goods in warehouses. Recent advances in deep learning have enabled the localization using monocular visual cameras. While structure from motion (SfM) predicts the absolute pose from a point cloud, absolute pose regression (APR) methods learn a semantic understanding of the environment through neural networks. However, both fields face challenges caused by the environment such as motion blur, lighting changes, repetitive patterns, and feature-less structures. This study aims to address these challenges by incorporating additional information and regularizing the absolute pose using relative pose regression (RPR) methods. RPR methods suffer under different challenges, i.e., motion blur. The optical flow between consecutive images is computed using the Lucas-Kanade algorithm, and the relative pose is predicted using an auxiliary small recurrent convolutional network. The fusion of absolute and relative poses is a complex task due to the mismatch between the global and local coordinate systems. State-of-the-art methods fusing absolute and relative poses use pose graph optimization (PGO) to regularize the absolute pose predictions using relative poses. In this work, we propose recurrent fusion networks to optimally align absolute and relative pose predictions to improve the absolute pose prediction. We evaluate eight different recurrent units and construct a simulation environment to pre-train the APR and RPR networks for better generalized training. Additionally, we record a large database of different scenarios in a challenging large-scale indoor environment that mimics a warehouse with transportation robots. We conduct hyperparameter searches and experiments to show the effectiveness of our recurrent fusion method compared to PGO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google