PointRecon: Online Point-based 3D Reconstruction via Ray-based 2D-3D Matching

要約

我々は、ポーズをとった単眼RGBビデオからの新しいオンラインのポイントベースの3D再構成方法を提案します。
私たちのモデルはシーンのグローバルな点群表現を維持し、新しい画像が観察されるたびに点の特徴と 3D 位置を継続的に更新します。
冗長性を慎重に削除しながら、新しく検出された点で点群を拡張します。
新しいポイントの点群の更新と深さの予測は、以前の点の位置予測のエラーに対して堅牢な、新しいレイベースの 2D-3D フィーチャ マッチング技術によって実現されます。
オフライン方法とは対照的に、私たちのアプローチは無限長のシーケンスを処理し、リアルタイムの更新を提供します。
さらに、点群には事前定義された解像度やシーン サイズの制約が課されず、その統一されたグローバル表現により、視点間でのビューの一貫性が保証されます。
ScanNet データセットの実験では、私たちの方法がオンライン MVS アプローチの中で最先端の品質を達成していることが示されています。
プロジェクトページ: https://arthurhero.github.io/projects/pointrecon

要約(オリジナル)

We propose a novel online, point-based 3D reconstruction method from posed monocular RGB videos. Our model maintains a global point cloud representation of the scene, continuously updating the features and 3D locations of points as new images are observed. It expands the point cloud with newly detected points while carefully removing redundancies. The point cloud updates and depth predictions for new points are achieved through a novel ray-based 2D-3D feature matching technique, which is robust against errors in previous point position predictions. In contrast to offline methods, our approach processes infinite-length sequences and provides real-time updates. Additionally, the point cloud imposes no pre-defined resolution or scene size constraints, and its unified global representation ensures view consistency across perspectives. Experiments on the ScanNet dataset show that our method achieves state-of-the-art quality among online MVS approaches. Project page: https://arthurhero.github.io/projects/pointrecon

arxiv情報

提供元, 利用サービス

arxiv.jp, Google