Gravity-aligned Rotation Averaging with Circular Regression

要約

順序付けされていない画像から 3D シーンを再構成することは、コンピュータ ビジョンとロボット工学において極めて重要であり、アプリケーションはクラウドソースのマッピングやそれ以外にも多岐にわたります。
グローバルな Structure-from-Motion (SfM) 技術はスケーラブルで高速ですが、精度が犠牲になることがよくあります。
これに対処するために、グローバル パイプラインの回転平均化フェーズに重力方向を統合し、カメラの向きの精度を高め、自由度を減らす原則的なアプローチを導入します。
この追加情報は、スマートフォン、複合現実デバイス、ドローンなどの最近の民生用デバイスで一般的に利用できるため、提案された方法に簡単にアクセスできるようになります。
循環回帰に基づいた当社のアルゴリズムは、線形回帰と同様の収束保証を備えています。
また、カメラのサブセットのみが既知の重力を持っているシナリオもサポートします。
さらに、エラーが発生しやすい重力を改良するメカニズムを提案します。
4 つの大規模なデータセットで最先端の精度を実現します。
特に、提案された方法は、SfM ベースラインを平均 13 AUC@$1^\circ$ ポイント改善し、8 倍高速に実行されます。
また、標準的な平面ポーズ グラフ最適化手法よりも 23 AUC@$1^\circ$ ポイント優れています。
コードは https://github.com/colmap/glomap にあります。

要約(オリジナル)

Reconstructing a 3D scene from unordered images is pivotal in computer vision and robotics, with applications spanning crowd-sourced mapping and beyond. While global Structure-from-Motion (SfM) techniques are scalable and fast, they often compromise on accuracy. To address this, we introduce a principled approach that integrates gravity direction into the rotation averaging phase of global pipelines, enhancing camera orientation accuracy and reducing the degrees of freedom. This additional information is commonly available in recent consumer devices, such as smartphones, mixed-reality devices and drones, making the proposed method readily accessible. Rooted in circular regression, our algorithm has similar convergence guarantees as linear regression. It also supports scenarios where only a subset of cameras have known gravity. Additionally, we propose a mechanism to refine error-prone gravity. We achieve state-of-the-art accuracy on four large-scale datasets. Particularly, the proposed method improves upon the SfM baseline by 13 AUC@$1^\circ$ points, on average, while running eight times faster. It also outperforms the standard planar pose graph optimization technique by 23 AUC@$1^\circ$ points. The code is at https://github.com/colmap/glomap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google