Revisiting Rolling Shutter Bundle Adjustment: Toward Accurate and Fast Solution

要約

ローリング シャッター (RS) カメラからの測定値に基づいて、カメラの 6 DoF ポーズと環境のジオメトリを推定する、堅牢で高速なバンドル調整ソリューションを提案します。
これは、追加のセンサー、入力としての高フレーム レート ビデオ、カメラの動きに関する制限的な仮定、読み出し方向、および効率の悪さなど、既存の作品の課題に取り組みます。
この目的のために、最初に RSBA パフォーマンスに対するイメージ ポイントへの正規化の影響を調査し、実際の 6-DoF カメラ モーションのモデル化におけるより良い近似を示します。
次に、視覚的な残差共分散の新しい分析モデルを提示します。これは、最適化中に再投影誤差を標準化するために使用できるため、全体的な精度が向上します。
さらに重要なことは、RSBA (NW-RSBA) での正規化と共分散標準化の重み付けの組み合わせにより、撮影方法を制限する必要なく、一般的な平面縮退を回避できることです。
さらに、ヤコビ行列のスパース性と Schur 補数に基づいて、NW-RSBA の加速戦略を提案します。
広範な合成および実際のデータ実験により、提案されたソリューションの有効性と効率が最先端の作品よりも優れていることが検証されます。
また、提案された方法が簡単に実装でき、有名な GSSfM および GSSLAM システムを完全な RSSfM および RSSLAM ソリューションとしてプラグインできることを示します。

要約(オリジナル)

We propose a robust and fast bundle adjustment solution that estimates the 6-DoF pose of the camera and the geometry of the environment based on measurements from a rolling shutter (RS) camera. This tackles the challenges in the existing works, namely relying on additional sensors, high frame rate video as input, restrictive assumptions on camera motion, readout direction, and poor efficiency. To this end, we first investigate the influence of normalization to the image point on RSBA performance and show its better approximation in modelling the real 6-DoF camera motion. Then we present a novel analytical model for the visual residual covariance, which can be used to standardize the reprojection error during the optimization, consequently improving the overall accuracy. More importantly, the combination of normalization and covariance standardization weighting in RSBA (NW-RSBA) can avoid common planar degeneracy without needing to constrain the filming manner. Besides, we propose an acceleration strategy for NW-RSBA based on the sparsity of its Jacobian matrix and Schur complement. The extensive synthetic and real data experiments verify the effectiveness and efficiency of the proposed solution over the state-of-the-art works. We also demonstrate the proposed method can be easily implemented and plug-in famous GSSfM and GSSLAM systems as completed RSSfM and RSSLAM solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google