Learning Online Multi-Sensor Depth Fusion

要約

多くのハンドヘルド デバイスまたは複合現実デバイスは、3D 再構築のために単一のセンサーと共に使用されますが、多くの場合、複数のセンサーで構成されています。
マルチセンサー深度融合は、3D 再構成方法のロバスト性と精度を大幅に向上させることができますが、既存の技術は、さまざまな値の範囲やノイズや外れ値の統計で動作するセンサーを処理するには十分にロバストではありません。
この目的のために、センサー固有のノイズと外れ値の統計を学習し、さまざまなセンサーからの深度フレームのデータ ストリームをオンラインで結合する深度融合アプローチである SenFuNet を紹介します。
私たちの方法は、時間の同期とキャリブレーションに関係なく、マルチセンサーの深度ストリームを融合し、ほとんどのトレーニング データでうまく一般化します。
実世界の CoRBS と Scene3D データセット、およびレプリカ データセットで、さまざまなセンサーの組み合わせを使用して実験を行います。
実験は、私たちの融合戦略が従来および最近のオンライン深度融合アプローチよりも優れていることを示しています。
さらに、複数のセンサーを組み合わせることで、単一のセンサーを使用する場合よりも、より堅牢な外れ値処理とより正確な表面再構築が得られます。
ソース コードとデータは、https://github.com/tfy14esa/SenFuNet で入手できます。

要約(オリジナル)

Many hand-held or mixed reality devices are used with a single sensor for 3D reconstruction, although they often comprise multiple sensors. Multi-sensor depth fusion is able to substantially improve the robustness and accuracy of 3D reconstruction methods, but existing techniques are not robust enough to handle sensors which operate with diverse value ranges as well as noise and outlier statistics. To this end, we introduce SenFuNet, a depth fusion approach that learns sensor-specific noise and outlier statistics and combines the data streams of depth frames from different sensors in an online fashion. Our method fuses multi-sensor depth streams regardless of time synchronization and calibration and generalizes well with little training data. We conduct experiments with various sensor combinations on the real-world CoRBS and Scene3D datasets, as well as the Replica dataset. Experiments demonstrate that our fusion strategy outperforms traditional and recent online depth fusion approaches. In addition, the combination of multiple sensors yields more robust outlier handling and more precise surface reconstruction than the use of a single sensor. The source code and data are available at https://github.com/tfy14esa/SenFuNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google