PatchMatch-Stereo-Panorama, a fast dense reconstruction from 360° video images

要約

この研究では、一般的な 360{\deg} アクション カムのリアルタイムの高密度 3D 再構成のための新しい方法を提案します。この方法は、USAR ミッション中に小型偵察 UAV に取り付けることができます。
提案された方法は、ローカルに対する任意のキーフレームの密な対応を計算する追加の高密度化スレッドを追加することにより、正距円筒ビデオ入力での堅牢な長期ローカリゼーションのために、機能ベースのビジュアル単眼 SLAM (一般的な ORB-SLAM に基づく OpenVSLAM) を拡張します。
PatchMatch-Stereo アプローチを使用したキーフレーム近傍。
PatchMatch-Stereo タイプのアルゴリズムは、大規模な Mutli-View-Stereo 向けの最新技術と見なされていますが、リアルタイムの高密度 3D 再構成タスクにはこれまで適応されていませんでした。
この作業では、PatchMatch-Stereo-アルゴリズムの新しい超並列バリアントについて説明します。これは、現在のアプローチとは 2 つの点で異なります。まず、正距円筒カメラ モデルをサポートし、他のソリューションはピンホール カメラ モデルに限定されます。
次に、高レベルの完全性と正確性を維持しながら、低レイテンシーに最適化されています。
これを実現するために、キーフレームの小さなシーケンスでのみ動作しますが、フレーム数が限られているために精度が低下する可能性を補う技術を採用しています。
結果は、最近のモバイル GPU を搭載したコンシューマ グレードのラップトップで高密度の 3D 再構築が可能であり、同等の品質設定を持つ一般的なオフライン MVS ソリューションよりも精度と完全性が向上していることを示しています。

要約(オリジナル)

This work proposes a new method for real-time dense 3d reconstruction for common 360{\deg} action cams, which can be mounted on small scouting UAVs during USAR missions. The proposed method extends a feature based Visual monocular SLAM (OpenVSLAM, based on the popular ORB-SLAM) for robust long-term localization on equirectangular video input by adding an additional densification thread that computes dense correspondences for any given keyframe with respect to a local keyframe-neighboorhood using a PatchMatch-Stereo-approach. While PatchMatch-Stereo-types of algorithms are considered state of the art for large scale Mutli-View-Stereo they had not been adapted so far for real-time dense 3d reconstruction tasks. This work describes a new massively parallel variant of the PatchMatch-Stereo-algorithm that differs from current approaches in two ways: First it supports the equirectangular camera model while other solutions are limited to the pinhole camera model. Second it is optimized for low latency while keeping a high level of completeness and accuracy. To achieve this it operates only on small sequences of keyframes, but employs techniques to compensate for the potential loss of accuracy due to the limited number of frames. Results demonstrate that dense 3d reconstruction is possible on a consumer grade laptop with a recent mobile GPU and that it is possible with improved accuracy and completeness over common offline-MVS solutions with comparable quality settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google