FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models

要約

3D シーンの再構成は、長年にわたるビジョンの課題です。
既存のアプローチは、幾何学ベースの方法と学習ベースの方法に分類できます。
前者はマルチビュー ジオメトリを利用しますが、ビュー全体での正確なピクセルの対応に依存するため、致命的な障害に直面する可能性があります。
後者は、2D または 3D 表現を直接学習することでこれらの問題を軽減するために提案されました。
ただし、大規模なビデオまたは 3D トレーニング データがなければ、ディープ ネットワークには数千万、さらには数十億の最適化パラメータが存在するため、現実世界の多様なシナリオに一般化することはほとんどできません。
最近、大規模なデータセットでトレーニングされた堅牢な単眼深度推定モデルは、弱い 3D ジオメトリを備えていることが以前に証明されていますが、未知のカメラ パラメーター、アフィン不変特性、およびフレーム間の不一致のため、再構築には不十分です。
ここでは、ビデオ フレームごとに最適化するパラメータがわずか数十で、フレーム間の一貫性を確保しながら、LeReS などのアフィン不変深度モデルの堅牢性を困難な多様なシーンに適用できる、新しいテスト時間最適化アプローチを提案します。
具体的には、私たちのアプローチには、事前にトレーニングされたアフィン不変深度モデルの深度予測を凍結し、幾何学的整合性アライメント モジュールで未知のスケール シフト値を最適化することで予測を修正し、結果として得られるスケール整合性のある深度マップを使用してカメラのポーズとデータを確実に取得することが含まれます。
低テクスチャ領域であっても、高密度のシーンの再構築を実現します。
実験では、私たちの方法が 5 つのゼロショット テスト データセットで最先端のクロスデータセット再構成を達成していることが示されています。

要約(オリジナル)

3D scene reconstruction is a long-standing vision task. Existing approaches can be categorized into geometry-based and learning-based methods. The former leverages multi-view geometry but can face catastrophic failures due to the reliance on accurate pixel correspondence across views. The latter was proffered to mitigate these issues by learning 2D or 3D representation directly. However, without a large-scale video or 3D training data, it can hardly generalize to diverse real-world scenarios due to the presence of tens of millions or even billions of optimization parameters in the deep network. Recently, robust monocular depth estimation models trained with large-scale datasets have been proven to possess weak 3D geometry prior, but they are insufficient for reconstruction due to the unknown camera parameters, the affine-invariant property, and inter-frame inconsistency. Here, we propose a novel test-time optimization approach that can transfer the robustness of affine-invariant depth models such as LeReS to challenging diverse scenes while ensuring inter-frame consistency, with only dozens of parameters to optimize per video frame. Specifically, our approach involves freezing the pre-trained affine-invariant depth model’s depth predictions, rectifying them by optimizing the unknown scale-shift values with a geometric consistency alignment module, and employing the resulting scale-consistent depth maps to robustly obtain camera poses and achieve dense scene reconstruction, even in low-texture regions. Experiments show that our method achieves state-of-the-art cross-dataset reconstruction on five zero-shot testing datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google