Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression

要約

視覚的慣性定位は、コンピュータビジョンや、バーチャルリアリティ、自動運転車、航空機などのロボット工学アプリケーションにおける重要な問題である。目標は、環境またはダイナミクスのいずれかが既知である場合に、物体の正確な姿勢を推定することである。絶対姿勢回帰（APR）手法は、畳み込みネットワークや時空間ネットワークを用いて、既知のシーンにおける画像入力から絶対姿勢を直接回帰する。オドメトリ手法は、既知のオブジェクトダイナミクス（視覚または慣性入力）から相対姿勢を予測する相対姿勢回帰（RPR）を実行する。ローカライゼーションタスクは、クロスモーダルなセットアップのために、両方のデータソースから情報を取得することによって改善することができるが、これは相反するタスクのために困難な問題である。本研究では、ポーズグラフ最適化と注意ネットワークに基づくディープマルチモーダル融合を評価するベンチマークを実施する。APRタスクには補助学習とベイズ学習を利用する。APR-RPRタスクとRPR-RPRタスクの精度向上を、航空機とハンドヘルドデバイスについて示す。EuRoC MAVとPennCOSYVIOデータセットで実験を行い、新しい産業データセットを記録し評価する。

要約(オリジナル)

Visual-inertial localization is a key problem in computer vision and robotics applications such as virtual reality, self-driving cars, and aerial vehicles. The goal is to estimate an accurate pose of an object when either the environment or the dynamics are known. Absolute pose regression (APR) techniques directly regress the absolute pose from an image input in a known scene using convolutional and spatio-temporal networks. Odometry methods perform relative pose regression (RPR) that predicts the relative pose from a known object dynamic (visual or inertial inputs). The localization task can be improved by retrieving information from both data sources for a cross-modal setup, which is a challenging problem due to contradictory tasks. In this work, we conduct a benchmark to evaluate deep multimodal fusion based on pose graph optimization and attention networks. Auxiliary and Bayesian learning are utilized for the APR task. We show accuracy improvements for the APR-RPR task and for the RPR-RPR task for aerial vehicles and hand-held devices. We conduct experiments on the EuRoC MAV and PennCOSYVIO datasets and record and evaluate a novel industry dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL