NightHazeFormer: Single Nighttime Haze Removal Using Prior Query Transformer

要約

夜間の画像のかすみ除去は、グロー、かすみ、ぼやけ、ノイズ、色の歪みなど、複数の種類の悪影響が存在するため、困難な作業です。
しかし、これまでの研究のほとんどは、主に日中の画像のかすみ除去や、夜間のかすみのあるシーンに現れる部分的な劣化に焦点を当てており、不満足な復元結果が得られる可能性があります。
この論文では、NightHazeFormer と呼ばれる、夜間のかすみ除去のためのエンドツーエンドのトランスフォーマーベースのフレームワークを提案します。
私たちが提案するアプローチは、教師あり事前トレーニングと半教師あり微調整の 2 つの段階で構成されます。
事前トレーニング段階では、2 つの強力な事前クエリをトランス デコーダに導入して、学習不可能な事前クエリを生成します。これにより、モデルが特定の劣化を抽出するようにガイドされます。
微調整では、生成された擬似グラウンド トゥルースを、ペア画像として入力された現実世界の夜間のかすみ画像と組み合わせ、合成ドメインにフィードして、事前トレーニングされたモデルを微調整します。
この半教師あり微調整パラダイムは、実際のドメインへの一般化を向上させるのに役立ちます。
さらに、現実世界の夜霧シナリオを包括的にシミュレートするために、UNREAL-NH と呼ばれる大規模合成データセットも提案します。
いくつかの合成データセットと現実世界のデータセットに対する広範な実験により、視覚的および定量的な観点から、最先端の夜間かすみ除去方法に対する NightHazeFormer の優位性が実証されました。

要約(オリジナル)

Nighttime image dehazing is a challenging task due to the presence of multiple types of adverse degrading effects including glow, haze, blurry, noise, color distortion, and so on. However, most previous studies mainly focus on daytime image dehazing or partial degradations presented in nighttime hazy scenes, which may lead to unsatisfactory restoration results. In this paper, we propose an end-to-end transformer-based framework for nighttime haze removal, called NightHazeFormer. Our proposed approach consists of two stages: supervised pre-training and semi-supervised fine-tuning. During the pre-training stage, we introduce two powerful priors into the transformer decoder to generate the non-learnable prior queries, which guide the model to extract specific degradations. For the fine-tuning, we combine the generated pseudo ground truths with input real-world nighttime hazy images as paired images and feed into the synthetic domain to fine-tune the pre-trained model. This semi-supervised fine-tuning paradigm helps improve the generalization to real domain. In addition, we also propose a large-scale synthetic dataset called UNREAL-NH, to simulate the real-world nighttime haze scenarios comprehensively. Extensive experiments on several synthetic and real-world datasets demonstrate the superiority of our NightHazeFormer over state-of-the-art nighttime haze removal methods in terms of both visually and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google