MVSBoost: An Efficient Point Cloud-based 3D Reconstruction

要約

効率的かつ正確な 3D 再構成は、拡張現実、仮想現実、医療画像、映画の特殊効果などのさまざまなアプリケーションにとって非常に重要です。
これらのアプリケーションでは従来のマルチビュー ステレオ (MVS) システムが基本でしたが、暗黙的な 3D シーン モデリングでニューラル暗黙的フィールドを使用することで、複雑なトポロジや連続サーフェスを処理するための新しい可能性が導入されました。
ただし、ニューラル陰場は計算の非効率性、過剰適合、データ品質への依存度の高さといった問題を抱えていることが多く、実用化が制限されています。
この論文では、マルチビュー 360 度画像を、Structure from Motion (SfM) によるロバストなカメラ姿勢推定と、点群の高密度化、メッシュ再構築、およびテクスチャリングのための高度な画像処理と統合する、強化された MVS フレームワークについて説明します。
私たちのアプローチは従来の MVS 手法を大幅に改善し、Realistic Synthetic 360 データセットの面取り距離メトリクスを使用して検証されたように、優れた精度と精度を提供します。
開発された MVS 技術は、3D 再構成の詳細と明瞭さを強化し、複雑なシーンの再構成において優れた計算効率と堅牢性を実証し、オクルージョンやさまざまな視点を効果的に処理します。
これらの改善は、特にリアルタイム処理とスケーラビリティを必要とするシナリオにおいて、MVS フレームワークが現在の最先端のニューラル暗黙的フィールド手法と競合し、潜在的にそれを超える可能性があることを示唆しています。

要約(オリジナル)

Efficient and accurate 3D reconstruction is crucial for various applications, including augmented and virtual reality, medical imaging, and cinematic special effects. While traditional Multi-View Stereo (MVS) systems have been fundamental in these applications, using neural implicit fields in implicit 3D scene modeling has introduced new possibilities for handling complex topologies and continuous surfaces. However, neural implicit fields often suffer from computational inefficiencies, overfitting, and heavy reliance on data quality, limiting their practical use. This paper presents an enhanced MVS framework that integrates multi-view 360-degree imagery with robust camera pose estimation via Structure from Motion (SfM) and advanced image processing for point cloud densification, mesh reconstruction, and texturing. Our approach significantly improves upon traditional MVS methods, offering superior accuracy and precision as validated using Chamfer distance metrics on the Realistic Synthetic 360 dataset. The developed MVS technique enhances the detail and clarity of 3D reconstructions and demonstrates superior computational efficiency and robustness in complex scene reconstruction, effectively handling occlusions and varying viewpoints. These improvements suggest that our MVS framework can compete with and potentially exceed current state-of-the-art neural implicit field methods, especially in scenarios requiring real-time processing and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google