MobileARLoc: On-device Robust Absolute Localisation for Pervasive Markerless Mobile AR

要約

近年、絶対的なカメラ姿勢推定が大幅に向上し、マーカーレス拡張現実 (AR) の普及への道が開かれました。
ただし、正確な絶対姿勢推定技術は計算量とストレージ量が多く、計算のオフロードが必要です。
そのため、AR システムは視覚慣性オドメトリ (VIO) に依存して、サーバーへのリクエスト間のデバイスの相対姿勢を追跡します。
ただし、VIO にはドリフトが発生するため、頻繁に絶対的な位置を変更する必要があります。
このペーパーでは、絶対姿勢リグレッサー (APR) とローカル VIO 追跡システムを組み合わせた、オンデバイスの大規模マーカーレス モバイル AR のための新しいフレームワークである MobileARLoc を紹介します。
絶対姿勢リグレッサー (APR) は、精度が低下しますが、デバイス上で高速な姿勢推定を提供します。
APR の精度に対処し、VIO ドリフトを低減するために、MobileARLoc はフィードバック ループを作成し、VIO 姿勢推定により APR 予測を改良します。
VIO システムは、信頼性の高い APR 予測を特定し、それを使用して VIO ドリフトを補正します。
データセットシミュレーションを通じてMobileARLocを総合的に評価します。
MobileARLoc は、基礎となる APR と比較して誤差を半分にし、高速 (80\,ms) のオンデバイス推論速度を実現します。

要約(オリジナル)

Recent years have seen significant improvement in absolute camera pose estimation, paving the way for pervasive markerless Augmented Reality (AR). However, accurate absolute pose estimation techniques are computation- and storage-heavy, requiring computation offloading. As such, AR systems rely on visual-inertial odometry (VIO) to track the device’s relative pose between requests to the server. However, VIO suffers from drift, requiring frequent absolute repositioning. This paper introduces MobileARLoc, a new framework for on-device large-scale markerless mobile AR that combines an absolute pose regressor (APR) with a local VIO tracking system. Absolute pose regressors (APRs) provide fast on-device pose estimation at the cost of reduced accuracy. To address APR accuracy and reduce VIO drift, MobileARLoc creates a feedback loop where VIO pose estimations refine the APR predictions. The VIO system identifies reliable predictions of APR, which are then used to compensate for the VIO drift. We comprehensively evaluate MobileARLoc through dataset simulations. MobileARLoc halves the error compared to the underlying APR and achieve fast (80\,ms) on-device inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google