Fusing Structure from Motion and Simulation-Augmented Pose Regression from Optical Flow for Challenging Indoor Environments

要約

【タイトル】
光学フローによるシミュレーション補強姿勢回帰を使用したStructure from Motionによる屋内環境の融合

【要約】
– 物体の位置特定は、ロボット、仮想/拡張現実、物流倉庫など、さまざまなアプリケーションで重要なタスクである。
– 深層学習の最近の進歩により、モノクル視覚カメラを使用した場所の特定が可能になった。
– SfMはポイントクラウドから絶対姿勢を予測するための技術であり、APRはニューラルネットワークを使用して環境の意味理解を学習する方法である。しかし、動きのぼやけ、照明の変化、繰り返しのパターン、特徴のない構造などの環境による課題が存在する。
– この研究では、オプティカルフローを用いて相対姿勢を予測することで、追加情報を取り入れ、相対姿勢回帰（RPR）を使用して絶対姿勢を正規化することで、これらの課題に対処することを目的としている。
– 絶対姿勢と相対姿勢の融合は、グローバル座標系とローカル座標系の不一致のために複雑なタスクである。絶対姿勢と相対姿勢を融合する最先端の方法は、相対姿勢を使用して絶対姿勢を正規化するためのポーズグラフ最適化（PGO）を使用することである。
– この研究では、繰り返し型フュージョンネットワークで絶対姿勢と相対姿勢の予測を最適に整列させ、絶対姿勢の予測を改善することを提案している。
– 実験には、8つの異なる繰り返しユニットを評価し、データセットを用意し、ハイパーパラメータ探索と実験を行い、従来のPGOに比べて再帰的な融合法の有効性を示している。

要約(オリジナル)

The localization of objects is a crucial task in various applications such as robotics, virtual and augmented reality, and the transportation of goods in warehouses. Recent advances in deep learning have enabled the localization using monocular visual cameras. While structure from motion (SfM) predicts the absolute pose from a point cloud, absolute pose regression (APR) methods learn a semantic understanding of the environment through neural networks. However, both fields face challenges caused by the environment such as motion blur, lighting changes, repetitive patterns, and feature-less structures. This study aims to address these challenges by incorporating additional information and regularizing the absolute pose using relative pose regression (RPR) methods. The optical flow between consecutive images is computed using the Lucas-Kanade algorithm, and the relative pose is predicted using an auxiliary small recurrent convolutional network. The fusion of absolute and relative poses is a complex task due to the mismatch between the global and local coordinate systems. State-of-the-art methods fusing absolute and relative poses use pose graph optimization (PGO) to regularize the absolute pose predictions using relative poses. In this work, we propose recurrent fusion networks to optimally align absolute and relative pose predictions to improve the absolute pose prediction. We evaluate eight different recurrent units and construct a simulation environment to pre-train the APR and RPR networks for better generalized training. Additionally, we record a large database of different scenarios in a challenging large-scale indoor environment that mimics a warehouse with transportation robots. We conduct hyperparameter searches and experiments to show the effectiveness of our recurrent fusion method compared to PGO.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI