SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors

要約

民生用センサーによって生成された深度マップには、不正確な測定値や、システムまたはシーン固有のソースからのデータの欠落という問題があります。
データ駆動型のノイズ除去アルゴリズムは、このような問題を軽減できます。
ただし、膨大な量の地上真実の深度データが必要です。
最近の研究では、自己教師あり学習技術を使用してこの制限に取り組んでいますが、それには複数の RGB-D センサーが必要です。
さらに、既存のアプローチのほとんどは、単一の孤立した深度マップまたは特定の関心対象のノイズを除去することに焦点を当てており、リアルタイムの動的環境で深度マップを効果的にノイズ除去する方法の必要性が強調されています。
この論文は、深度ノイズ除去コモディティ深度デバイスの最先端のアプローチを拡張し、RGB-D でキャプチャされたフル深度マップの修復によるノイズ除去と穴埋めによる深度復元のための自己教師あり深層学習技術である SelfReDepth を提案します。
センサー。
このアルゴリズムは、ビデオ ストリーム内の深度データをターゲットにし、カラー データと結合された複数の連続した深度フレームを利用して、時間的一貫性のある高品質の深度ビデオを実現します。
最後に、SelfReDepth は、さまざまな RGB-D センサーと互換性があり、他の深度依存アルゴリズムを適用する前の前処理ステップとしてリアルタイム シナリオで使用できるように設計されています。
私たちの結果は、現実世界のデータセットに対する私たちのアプローチのリアルタイム パフォーマンスを示しています。
彼らは、商用深度カメラで 30fps 以上の最先端のノイズ除去および復元パフォーマンスを上回り、拡張現実および複合現実アプリケーションに潜在的な利点があることを示しています。

要約(オリジナル)

Depth maps produced by consumer-grade sensors suffer from inaccurate measurements and missing data from either system or scene-specific sources. Data-driven denoising algorithms can mitigate such problems. However, they require vast amounts of ground truth depth data. Recent research has tackled this limitation using self-supervised learning techniques, but it requires multiple RGB-D sensors. Moreover, most existing approaches focus on denoising single isolated depth maps or specific subjects of interest, highlighting a need for methods to effectively denoise depth maps in real-time dynamic environments. This paper extends state-of-the-art approaches for depth-denoising commodity depth devices, proposing SelfReDepth, a self-supervised deep learning technique for depth restoration, via denoising and hole-filling by inpainting full-depth maps captured with RGB-D sensors. The algorithm targets depth data in video streams, utilizing multiple sequential depth frames coupled with color data to achieve high-quality depth videos with temporal coherence. Finally, SelfReDepth is designed to be compatible with various RGB-D sensors and usable in real-time scenarios as a pre-processing step before applying other depth-dependent algorithms. Our results demonstrate our approach’s real-time performance on real-world datasets. They show that it outperforms state-of-the-art denoising and restoration performance at over 30fps on Commercial Depth Cameras, with potential benefits for augmented and mixed-reality applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google