Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass

要約

マルチビュー3D再構成は、特に多様な視点で正確でスケーラブルな表現を必要とするアプリケーションで、コンピュータービジョンの中心的な課題のままです。
Dust3Rなどの現在の主要な方法は、根本的にペアワイズアプローチを採用し、画像をペアで処理し、複数のビューから再構築するための費用のかかるグローバルアライメント手順を必要とします。
この作業では、多くのビューを並行して処理することにより効率的でスケーラブルな3D再構成を達成するDust3Rへの新しいマルチビューの一般化である高速3D再構成（FAST3R）を提案します。
Fast3Rの変圧器ベースのアーキテクチャは、単一のフォワードパスでn画像を転送し、反復アライメントの必要性を回避します。
カメラの推定値と3D再構成に関する広範な実験を通じて、Fast3Rは最先端のパフォーマンスを示し、推論速度が大幅に改善され、誤差蓄積が減少します。
これらの結果は、Multi-Viewアプリケーションの堅牢な代替品としてFast3Rを確立し、再構成の精度を損なうことなくスケーラビリティを向上させます。

要約(オリジナル)

Multi-view 3D reconstruction remains a core challenge in computer vision, particularly in applications requiring accurate and scalable representations across diverse perspectives. Current leading methods such as DUSt3R employ a fundamentally pairwise approach, processing images in pairs and necessitating costly global alignment procedures to reconstruct from multiple views. In this work, we propose Fast 3D Reconstruction (Fast3R), a novel multi-view generalization to DUSt3R that achieves efficient and scalable 3D reconstruction by processing many views in parallel. Fast3R’s Transformer-based architecture forwards N images in a single forward pass, bypassing the need for iterative alignment. Through extensive experiments on camera pose estimation and 3D reconstruction, Fast3R demonstrates state-of-the-art performance, with significant improvements in inference speed and reduced error accumulation. These results establish Fast3R as a robust alternative for multi-view applications, offering enhanced scalability without compromising reconstruction accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google