Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs

要約

実際の環境深度のリアルタイム推定は、ローカリゼーション、障害物検出、ポーズ推定などのさまざまな自律システムタスクに不可欠なモジュールです。
機械学習の過去10年間に、コンピュータービジョンタスクへの深層学習手法の広範な展開により、単純なRGBモダリティから現実的な深度合成のための成功したアプローチが生まれました。
これらのモデルのほとんどは、ペアの深度データまたはビデオシーケンスとステレオ画像の可用性に基づいていますが、教師なしの方法で単一画像の深度合成に直面する方法がありません。
したがって、この研究では、生成ニューラルネットワークの分野における最新の進歩を活用して、完全に教師なしの単一画像深度合成を行います。
より正確には、RGBから深度および深度からRGBへの転送用に2つのサイクル整合性のあるジェネレーターが実装され、Wasserstein-1距離を使用して同時に最適化されます。
提案された方法の妥当性を確保するために、モデルを自己取得した産業用データセットと有名なNYU Depth v2データセットに適用します。これにより、既存のアプローチとの比較が可能になります。
この研究で観察された成功は、実世界のアプリケーションで対になっていない単一画像の深度推定の可能性が高いことを示唆しています。

要約(オリジナル)

Real-time estimation of actual environment depth is an essential module for various autonomous system tasks such as localization, obstacle detection and pose estimation. During the last decade of machine learning, extensive deployment of deep learning methods to computer vision tasks yielded successful approaches for realistic depth synthesis out of a simple RGB modality. While most of these models rest on paired depth data or availability of video sequences and stereo images, there is a lack of methods facing single-image depth synthesis in an unsupervised manner. Therefore, in this study, latest advancements in the field of generative neural networks are leveraged to fully unsupervised single-image depth synthesis. To be more exact, two cycle-consistent generators for RGB-to-depth and depth-to-RGB transfer are implemented and simultaneously optimized using the Wasserstein-1 distance. To ensure plausibility of the proposed method, we apply the models to a self acquised industrial data set as well as to the renown NYU Depth v2 data set, which allows comparison with existing approaches. The observed success in this study suggests high potential for unpaired single-image depth estimation in real world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google