SIM-Sync: From Certifiably Optimal Synchronization over the 3D Similarity Group to Scene Reconstruction with Learned Depth

要約

この論文では、多視点画像のキーポイントからカメラの軌跡と 3D シーン構造を直接推定する最適なアルゴリズムである SIM-Sync について説明します。
SIM-Sync は、ポーズ グラフの最適化とバンドル調整の間のギャップを埋めます。
前者は効率的な全体的な最適化を可能にしますが、相対的な姿勢の測定を必要とし、後者は画像キーポイントを直接消費しますが、全体的に最適化するのは困難です (カメラの投影ジオメトリのため)。
このギャップを埋めるのは、事前トレーニングされた深度予測ネットワークです。
未知のカメラポーズで撮影された単眼画像を表すノードと、ペアごとの画像キーポイント対応を含むエッジを含むグラフが与えられると、SIM-Sync はまず、事前トレーニングされた深さ予測ネットワークを使用して、2D キーポイントを 3D スケーリングされた点群にリフトします。
点群は、単眼の深度予測におけるスケールの曖昧さのため不明です。
次に、SIM-Sync は、未知のカメラのポーズとスケーリング係数を (つまり、3D 類似性グループ全体で) 共同で同期しようとします。
SIM-Sync 定式化は、非凸であるにもかかわらず、SE-Sync アルゴリズムとほぼ同一の、効率的かつ確実に最適なソルバーの設計を可能にします。
シミュレーション実験と実際の実験の両方で、SIM-Sync の密閉性、堅牢性、実用的な有用性を実証します。
シミュレーションでは、(i) SIM-Sync はスケールフリー同期において SE-Sync と比べて有利であること、(ii) SIM-Sync を堅牢な推定器と併用して大量の外れ値を許容できることを示します。
実際の実験では、(a) SIM-Sync はバンドル調整データセット上で Ceres と同様のパフォーマンスを達成すること、(b) SIM-Sync はゼロショット深度予測を備えた TUM データセット上で ORB-SLAM3 と同等のパフォーマンスを発揮することを示します。

要約(オリジナル)

This paper presents SIM-Sync, a certifiably optimal algorithm that estimates camera trajectory and 3D scene structure directly from multiview image keypoints. SIM-Sync fills the gap between pose graph optimization and bundle adjustment; the former admits efficient global optimization but requires relative pose measurements and the latter directly consumes image keypoints but is difficult to optimize globally (due to camera projective geometry). The bridge to this gap is a pretrained depth prediction network. Given a graph with nodes representing monocular images taken at unknown camera poses and edges containing pairwise image keypoint correspondences, SIM-Sync first uses a pretrained depth prediction network to lift the 2D keypoints into 3D scaled point clouds, where the scaling of the per-image point cloud is unknown due to the scale ambiguity in monocular depth prediction. SIM-Sync then seeks to synchronize jointly the unknown camera poses and scaling factors (i.e., over the 3D similarity group). The SIM-Sync formulation, despite nonconvex, allows designing an efficient certifiably optimal solver that is almost identical to the SE-Sync algorithm. We demonstrate the tightness, robustness, and practical usefulness of SIM-Sync in both simulated and real experiments. In simulation, we show (i) SIM-Sync compares favorably with SE-Sync in scale-free synchronization, and (ii) SIM-Sync can be used together with robust estimators to tolerate a high amount of outliers. In real experiments, we show (a) SIM-Sync achieves similar performance as Ceres on bundle adjustment datasets, and (b) SIM-Sync performs on par with ORB-SLAM3 on the TUM dataset with zero-shot depth prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google