Stereo-Depth Fusion through Virtual Pattern Projection

要約

この論文では、信頼性の低い物理パターン プロジェクターを深度センサーに置き換えることによってアクティブ ステレオ原理を模倣する、新しい汎用ステレオと深度データの融合パラダイムを紹介します。
これは、深度センサーから得られるまばらなヒントを使用して、従来のステレオカメラで取得した左右の画像上にシーンの幾何学形状と一致する仮想パターンを投影することで機能し、視覚的な対応を容易にします。
意図的に、あらゆる深度センシングデバイスを当社のフレームワークにシームレスに接続できるため、あらゆる環境での仮想アクティブステレオセットアップの展開が可能になり、限られた作業範囲や環境条件などの物理パターン投影の厳しい制限を克服できます。
既製の深度センサーからフィルタリングされていない生の深度ヒントを提供するものなど、遠距離と近距離の両方を特徴とする屋内および屋外のデータセットに関する徹底的な実験は、アルゴリズムと深いステレオの堅牢性と精度を顕著に向上させるという私たちのアプローチの有効性を強調しています。
コードを変更しても、再トレーニングしなくても可能です。
さらに、従来のパターン投影を使用したアクティブ ステレオ評価データセットに対する戦略のパフォーマンスを評価します。
実際、これらすべてのシナリオにおいて、当社の仮想パターン投影パラダイムは最先端のパフォーマンスを実現します。
ソース コードは https://github.com/bartn8/vppstereo から入手できます。

要約(オリジナル)

This paper presents a novel general-purpose stereo and depth data fusion paradigm that mimics the active stereo principle by replacing the unreliable physical pattern projector with a depth sensor. It works by projecting virtual patterns consistent with the scene geometry onto the left and right images acquired by a conventional stereo camera, using the sparse hints obtained from a depth sensor, to facilitate the visual correspondence. Purposely, any depth sensing device can be seamlessly plugged into our framework, enabling the deployment of a virtual active stereo setup in any possible environment and overcoming the severe limitations of physical pattern projection, such as the limited working range and environmental conditions. Exhaustive experiments on indoor and outdoor datasets featuring both long and close range, including those providing raw, unfiltered depth hints from off-the-shelf depth sensors, highlight the effectiveness of our approach in notably boosting the robustness and accuracy of algorithms and deep stereo without any code modification and even without re-training. Additionally, we assess the performance of our strategy on active stereo evaluation datasets with conventional pattern projection. Indeed, in all these scenarios, our virtual pattern projection paradigm achieves state-of-the-art performance. The source code is available at: https://github.com/bartn8/vppstereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google