SST: Real-time End-to-end Monocular 3D Reconstruction via Sparse Spatial-Temporal Guidance

要約

リアルタイムの単眼 3D 再構成は、未解決のままの困難な問題です。
最近のエンドツーエンドの方法は有望な結果を示していますが、小さな構造と幾何学的境界は、空間的な詳細を無視する不十分な監視と、一時的な手がかりを無視する過度に単純化された機能融合のためにほとんどキャプチャされません。
この問題に対処するために、ビジュアルSLAMシステムからのスパース推定ポイントを追加の空間ガイダンスとして利用し、新しいクロスモーダル注意メカニズムを介して時間的特徴を融合し、より詳細な再構成結果を達成する、エンドツーエンドの3D再構成ネットワークSSTを提案します。
マルチビュー カラー情報とスパース プライアからより有益な時空間キューを活用するローカル時空間融合モジュールと、粗い世界フレーム モデルを使用してローカル TSDF ボリュームを改良するグローバル時空融合モジュールを提案します。
罰金に。
ScanNet と 7-Scenes での広範な実験では、SST が 59 FPS の高い推論速度を維持しながら、最先端のすべての競合他社よりも優れていることが実証されており、リアルタイム要件のある実世界のアプリケーションが可能になります。

要約(オリジナル)

Real-time monocular 3D reconstruction is a challenging problem that remains unsolved. Although recent end-to-end methods have demonstrated promising results, tiny structures and geometric boundaries are hardly captured due to their insufficient supervision neglecting spatial details and oversimplified feature fusion ignoring temporal cues. To address the problems, we propose an end-to-end 3D reconstruction network SST, which utilizes Sparse estimated points from visual SLAM system as additional Spatial guidance and fuses Temporal features via a novel cross-modal attention mechanism, achieving more detailed reconstruction results. We propose a Local Spatial-Temporal Fusion module to exploit more informative spatial-temporal cues from multi-view color information and sparse priors, as well a Global Spatial-Temporal Fusion module to refine the local TSDF volumes with the world-frame model from coarse to fine. Extensive experiments on ScanNet and 7-Scenes demonstrate that SST outperforms all state-of-the-art competitors, whilst keeping a high inference speed at 59 FPS, enabling real-world applications with real-time requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google