VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment

要約

単眼映像から正確な3Dモデルを効率的に再構成することは、コンピュータビジョンにおける重要な課題であり、バーチャルリアリティ、ロボット工学、シーン理解などのアプリケーションを発展させるために不可欠である。既存のアプローチでは、通常、事前に計算されたカメラパラメータとフレームごとの再構成パイプラインが必要であり、エラーが蓄積しやすく、計算オーバーヘッドが大きい。これらの限界に対処するために、我々は、学習可能なモデルからの幾何学的事前分布を利用して、ビデオシーケンスから直接、大域的に疎から密な3D表現を漸進的に最適化する、新しいフレームワークであるVideoLifterを紹介する。VideoLifterは、ビデオシーケンスをローカルウィンドウに分割し、そこでフレームのマッチングと登録を行い、一貫性のあるフラグメントを構築し、それらを階層的に整列させて、統一された3Dモデルを生成する。VideoLifterは、フレームとフラグメント間の疎な点の対応を追跡・伝播することで、カメラのポーズと3D構造を段階的に精緻化し、再投影誤差を最小化することで、精度とロバスト性を向上させる。このアプローチにより、再構成プロセスが大幅に高速化され、トレーニング時間が82%以上短縮されるとともに、視覚的忠実度と計算効率において現在の最先端手法を凌駕します。

要約(オリジナル)

Efficiently reconstructing accurate 3D models from monocular video is a key challenge in computer vision, critical for advancing applications in virtual reality, robotics, and scene understanding. Existing approaches typically require pre-computed camera parameters and frame-by-frame reconstruction pipelines, which are prone to error accumulation and entail significant computational overhead. To address these limitations, we introduce VideoLifter, a novel framework that leverages geometric priors from a learnable model to incrementally optimize a globally sparse to dense 3D representation directly from video sequences. VideoLifter segments the video sequence into local windows, where it matches and registers frames, constructs consistent fragments, and aligns them hierarchically to produce a unified 3D model. By tracking and propagating sparse point correspondences across frames and fragments, VideoLifter incrementally refines camera poses and 3D structure, minimizing reprojection error for improved accuracy and robustness. This approach significantly accelerates the reconstruction process, reducing training time by over 82% while surpassing current state-of-the-art methods in visual fidelity and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL