Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression

要約

視覚慣性ローカリゼーションは、仮想現実、自動運転車、航空機などのコンピューター ビジョンおよびロボット工学アプリケーションにおける重要な問題です。
目標は、環境またはダイナミクスがわかっているときに、オブジェクトの正確な姿勢を推定することです。
絶対姿勢回帰 (APR) 手法は、畳み込みおよび時空間ネットワークを使用して、既知のシーンの画像入力から絶対姿勢を直接回帰します。
オドメトリ メソッドは、既知のオブジェクト ダイナミック (視覚または慣性入力) から相対姿勢を予測する相対姿勢回帰 (RPR) を実行します。
ローカリゼーション タスクは、クロスモーダル セットアップの両方のデータ ソースから情報を取得することで改善できます。これは、矛盾するタスクによる困難な問題です。
この作業では、ポーズ グラフの最適化とアテンション ネットワークに基づいて、ディープ マルチモーダル フュージョンを評価するためのベンチマークを実施します。
補助およびベイジアン学習は、APR タスクに利用されます。
APR-RPR タスクと航空機およびハンドヘルド デバイスの RPR-RPR タスクの精度の向上を示します。
EuRoC MAV および PennCOSYVIO データセットで実験を行い、新しい業界データセットを記録および評価します。

要約(オリジナル)

Visual-inertial localization is a key problem in computer vision and robotics applications such as virtual reality, self-driving cars, and aerial vehicles. The goal is to estimate an accurate pose of an object when either the environment or the dynamics are known. Absolute pose regression (APR) techniques directly regress the absolute pose from an image input in a known scene using convolutional and spatio-temporal networks. Odometry methods perform relative pose regression (RPR) that predicts the relative pose from a known object dynamic (visual or inertial inputs). The localization task can be improved by retrieving information from both data sources for a cross-modal setup, which is a challenging problem due to contradictory tasks. In this work, we conduct a benchmark to evaluate deep multimodal fusion based on pose graph optimization and attention networks. Auxiliary and Bayesian learning are utilized for the APR task. We show accuracy improvements for the APR-RPR task and for the RPR-RPR task for aerial vehicles and hand-held devices. We conduct experiments on the EuRoC MAV and PennCOSYVIO datasets and record and evaluate a novel industry dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google