Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression

要約

視覚慣性ローカリゼーションは、仮想現実、自動運転車、航空機などのコンピューター ビジョンおよびロボット工学アプリケーションにおける重要な問題です。
目標は、環境またはダイナミクスがわかっているときに、オブジェクトの正確な姿勢を推定することです。
最近の方法では、畳み込みおよび時空間ネットワークを使用してポーズを直接回帰します。
絶対姿勢回帰 (APR) 手法は、既知のシーンの画像入力から絶対カメラ姿勢を予測します。
オドメトリ メソッドは、既知のオブジェクト ダイナミック (視覚または慣性入力) から相対姿勢を予測する相対姿勢回帰 (RPR) を実行します。
ローカリゼーション タスクは、クロスモーダル セットアップの両方のデータ ソースの情報を取得することで改善できます。これは、矛盾するタスクによる困難な問題です。
この作業では、PGO とアテンション ネットワークに基づくディープ マルチモーダル フュージョンを評価するためのベンチマークを実施します。
APR タスクには、補助学習とベイズ学習が統合されています。
RPR 支援 APR タスクと、航空機およびハンドヘルド デバイスの RPR-RPR タスクの精度の向上を示します。
EuRoC MAV および PennCOSYVIO データセットで実験を行い、新しい業界データセットを記録します。

要約(オリジナル)

Visual-inertial localization is a key problem in computer vision and robotics applications such as virtual reality, self-driving cars, and aerial vehicles. The goal is to estimate an accurate pose of an object when either the environment or the dynamics are known. Recent methods directly regress the pose using convolutional and spatio-temporal networks. Absolute pose regression (APR) techniques predict the absolute camera pose from an image input in a known scene. Odometry methods perform relative pose regression (RPR) that predicts the relative pose from a known object dynamic (visual or inertial inputs). The localization task can be improved by retrieving information of both data sources for a cross-modal setup, which is a challenging problem due to contradictory tasks. In this work, we conduct a benchmark to evaluate deep multimodal fusion based on PGO and attention networks. Auxiliary and Bayesian learning are integrated for the APR task. We show accuracy improvements for the RPR-aided APR task and for the RPR-RPR task for aerial vehicles and hand-held devices. We conduct experiments on the EuRoC MAV and PennCOSYVIO datasets, and record a novel industry dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google