4K-HAZE: A Dehazing Benchmark with 4K Resolution Hazy and Haze-Free Images

要約

現在、モバイルおよび IoT デバイスは、限られたリソース消費で 4K 画像を強化する一連の方法を緊急に必要としています。
大規模な 4K ベンチマーク データセットがないため、この分野、特にかすみ除去の進歩が妨げられています。
超高解像度 (UHD) のかすみ除去データセットを構築する際の課題は、UHD 深度マップの推定方法、高品質の 4K 深度推定データセット、合成ドメインから実際のドメインへの UHD ヘイズ画像の移行戦略がないことです。
これらの問題に対処するために、鮮明な画像から 4K ぼんやりした画像 (夜間と昼間のシーンを含む) をシミュレートする新しい合成方法を開発します。これは、最初にシーンの深度を推定し、光線とオブジェクトの反射率をシミュレートし、次に合成画像を実際のドメインに移行します。
GAN を使用して、最終的に 4K 解像度の画像にかすんだ効果をもたらします。
これらの合成画像を 4K-HAZE データセットと呼ばれるベンチマークにラップします。
具体的には、CS-Mixer (\textbf{C}hannel ドメインと \textbf{S}patial ドメインを統合した MLP ベースのモデル) を設計して 4K 鮮明な画像の深度マップを推定し、GU-Net を 4K に移行します。
実際のかすんだドメインへの合成画像。
私たちのアプローチ (深度推定とドメイン移行) の最も魅力的な側面は、リアルタイム (33fps) で 24G RAM を備えた単一の GPU で 4K 画像を実行できることです。
さらに、この作品は、4K-HAZE データセットを使用して評価されるいくつかの最先端の単一画像のかすみ除去方法の客観的な評価を示しています。
論文の最後では、4K-HAZE データセットの限界とその社会的影響について説明します。

要約(オリジナル)

Currently, mobile and IoT devices are in dire need of a series of methods to enhance 4K images with limited resource expenditure. The absence of large-scale 4K benchmark datasets hampers progress in this area, especially for dehazing. The challenges in building ultra-high-definition (UHD) dehazing datasets are the absence of estimation methods for UHD depth maps, high-quality 4K depth estimation datasets, and migration strategies for UHD haze images from synthetic to real domains. To address these problems, we develop a novel synthetic method to simulate 4K hazy images (including nighttime and daytime scenes) from clear images, which first estimates the scene depth, simulates the light rays and object reflectance, then migrates the synthetic images to real domains by using a GAN, and finally yields the hazy effects on 4K resolution images. We wrap these synthesized images into a benchmark called the 4K-HAZE dataset. Specifically, we design the CS-Mixer (an MLP-based model that integrates \textbf{C}hannel domain and \textbf{S}patial domain) to estimate the depth map of 4K clear images, the GU-Net to migrate a 4K synthetic image to the real hazy domain. The most appealing aspect of our approach (depth estimation and domain migration) is the capability to run a 4K image on a single GPU with 24G RAM in real-time (33fps). Additionally, this work presents an objective assessment of several state-of-the-art single-image dehazing methods that are evaluated using the 4K-HAZE dataset. At the end of the paper, we discuss the limitations of the 4K-HAZE dataset and its social implications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google