FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

要約

このペーパーでは、ビデオ シーケンスの正確なカメラ ポーズ、カメラ固有の要素、およびフレームごとの高密度深度を解決するエンドツーエンドの微分可能な手法である FlowMap を紹介します。
私たちの方法では、単純な最小二乗対物レンズのビデオごとの勾配降下最小化を実行し、深度、固有関数、およびポーズによって引き起こされるオプティカル フローを、既製のオプティカル フローおよびポイント トラッキングによって取得された対応と比較します。
長期的な幾何学的一貫性を促進するためのポイント トラックの使用に加えて、一次最適化に適した深さ、組み込み関数、ポーズの微分可能な再パラメータ化を導入します。
私たちの方法によって回復されたカメラパラメータと高密度深度が、ガウススプラッティングを使用した360度の軌道上でフォトリアリスティックな新しいビュー合成を可能にすることを経験的に示します。
私たちの方法は、従来の勾配降下法ベースのバンドル調整方法をはるかに上回るパフォーマンスを発揮するだけでなく、驚くべきことに、360 度の新規ビュー合成の下流タスクにおいて、最先端の SfM 方法である COLMAP と同等のパフォーマンスを発揮します（たとえ私たちの方法であっても）
純粋に勾配降下法に基づいており、完全に微分可能であり、従来の SfM から完全に逸脱しています。

要約(オリジナル)

This paper introduces FlowMap, an end-to-end differentiable method that solves for precise camera poses, camera intrinsics, and per-frame dense depth of a video sequence. Our method performs per-video gradient-descent minimization of a simple least-squares objective that compares the optical flow induced by depth, intrinsics, and poses against correspondences obtained via off-the-shelf optical flow and point tracking. Alongside the use of point tracks to encourage long-term geometric consistency, we introduce differentiable re-parameterizations of depth, intrinsics, and pose that are amenable to first-order optimization. We empirically show that camera parameters and dense depth recovered by our method enable photo-realistic novel view synthesis on 360-degree trajectories using Gaussian Splatting. Our method not only far outperforms prior gradient-descent based bundle adjustment methods, but surprisingly performs on par with COLMAP, the state-of-the-art SfM method, on the downstream task of 360-degree novel view synthesis (even though our method is purely gradient-descent based, fully differentiable, and presents a complete departure from conventional SfM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google