PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos

要約

PlanarReconを紹介します。これは、ポーズをとった単眼ビデオから3D平面をグローバルにコヒーレントに検出および再構築するための新しいフレームワークです。
単一の画像から2Dの平面を検出する以前の作品とは異なり、PlanarReconは、ニューラルネットワークを使用したシーンのボリューム表現から、キーフレームのセットで構成されるビデオフラグメントごとに3Dの平面を段階的に検出します。
学習ベースの追跡および融合モジュールは、以前のフラグメントからの平面をマージして、コヒーレントなグローバル平面再構成を形成するように設計されています。
このような設計により、PlanarReconは、各フラグメント内の複数のビューからの観測と、異なるビュー全体の時間情報を統合できるため、低ポリゴンジオメトリを使用したシーン抽象化の正確で一貫性のある再構築が可能になります。
実験は、提案されたアプローチがリアルタイムでありながら、ScanNetデータセットで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

We present PlanarRecon — a novel framework for globally coherent detection and reconstruction of 3D planes from a posed monocular video. Unlike previous works that detect planes in 2D from a single image, PlanarRecon incrementally detects planes in 3D for each video fragment, which consists of a set of key frames, from a volumetric representation of the scene using neural networks. A learning-based tracking and fusion module is designed to merge planes from previous fragments to form a coherent global plane reconstruction. Such design allows PlanarRecon to integrate observations from multiple views within each fragment and temporal information across different ones, resulting in an accurate and coherent reconstruction of the scene abstraction with low-polygonal geometry. Experiments show that the proposed approach achieves state-of-the-art performances on the ScanNet dataset while being real-time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google