Guided Depth Map Super-resolution: A Survey

要約

対になった HR カラー画像を利用して、低解像度 (LR) 観測から高解像度 (HR) デプス マップを再構築することを目的としたガイド付きデプス マップ超解像 (GDSR) は、長年にわたる根本的な問題です。
は、コンピューター ビジョンおよび画像処理コミュニティから大きな注目を集めています。
最近、特に強力な深層学習技術を使用した、無数の斬新で効果的なアプローチが提案されています。
この調査は、GDSR の最近の進歩に関する包括的な調査を提示する取り組みです。
まず、GDSR の問題を要約し、なぜそれが難しいのかを説明します。
次に、一般的に使用されるデータセットと画質評価方法をいくつか紹介します。
また、既存の GDSR 手法を大きく 3 つのカテゴリ、つまり、フィルタリング ベースの手法、事前ベースの手法、および学習ベースの手法に分類します。
各カテゴリでは、公開されているアルゴリズムと設計原則の一般的な説明を紹介し、代表的な方法を要約して、それらのハイライトと制限について説明します。
また、深度関連のアプリケーションも紹介されています。
さらに、体系的かつ公正な性能評価を読者に提供するために、統一された実験構成に基づいていくつかの代表的な方法の性能を評価する実験を行います。
最後に、今後の研究に向けて可能な方向性と未解決の問題を示して、この調査を締めくくります。
関連資料はすべて \url{https://github.com/zhwzhong/Guided-Depth-Map-Super-resolution-A-Survey} にあります。

要約(オリジナル)

Guided depth map super-resolution (GDSR), which aims to reconstruct a high-resolution (HR) depth map from a low-resolution (LR) observation with the help of a paired HR color image, is a longstanding and fundamental problem, it has attracted considerable attention from computer vision and image processing communities. A myriad of novel and effective approaches have been proposed recently, especially with powerful deep learning techniques. This survey is an effort to present a comprehensive survey of recent progress in GDSR. We start by summarizing the problem of GDSR and explaining why it is challenging. Next, we introduce some commonly used datasets and image quality assessment methods. In addition, we roughly classify existing GDSR methods into three categories, i.e., filtering-based methods, prior-based methods, and learning-based methods. In each category, we introduce the general description of the published algorithms and design principles, summarize the representative methods, and discuss their highlights and limitations. Moreover, the depth related applications are introduced. Furthermore, we conduct experiments to evaluate the performance of some representative methods based on unified experimental configurations, so as to offer a systematic and fair performance evaluation to readers. Finally, we conclude this survey with possible directions and open problems for further research. All the related materials can be found at \url{https://github.com/zhwzhong/Guided-Depth-Map-Super-resolution-A-Survey}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google