A Data-Centric Solution to NonHomogeneous Dehazing via Vision Transformer

要約

タイトル：Vision Transformerを用いたノンホモジニアス除霧のためのデータ中心ソリューション
要約：最近では画像の除霧に対する関心が高まっており、多くの深層学習手法が提案され、均質な霧に対処するためには重要な貢献があった。しかし、NH-HAZE23データセットのようなノンホモジニアスな霧が存在する画像に適用する場合には、同等の性能を維持することができない。このような失敗の原因の1つは、ノンホモジニアスな霧は、均質な霧のモデリングに必要な仮定の1つに従わないためである。また、従来のエンドツーエンドのトレーニング手法を使用すると、ノンホモジニアスなヘイジーな画像とそのクリーンな相手に対する多数のペアが必要であり、NH-HAZE23データセットは数に限りがある。NH-HAZE23データセットを他のノンホモジニアス除霧データセットを利用して拡張することが可能であるが、対象データセットと拡張データセットとの分布の差を縮小する適切なデータ前処理アプローチを設計することが必要である。この発見は、データ中心のAIの本質と一致している。本研究では、新しいネットワークアーキテクチャとデータ品質を体系的に向上させるための原則的なデータ前処理アプローチを組み合わせた画期的な除霧手法を提案している。具体的には、拡張データセットにRGBチャネルごとの変換を適用し、最新のトランスフォーマを2枝フレームワークのバックボーンとして組み込んでいる。広範な実験と除霧手法の詳細な研究を行い、提案手法の効果を実証している。

– 画像の除霧に深層学習手法が利用されている
– 均質な霧に対しては、多数の手法が提案され有効であった
– ノンホモジニアスな霧を除去することはより困難である
– ノンホモジニアスな霧は仮定を満たさないため、均質な霧とは異なる対処が求められる
– NH-HAZE23データセットのような限られた数のペアを使用する場合は適切なデータ前処理が不可欠
– 本研究では、トランスフォーマをバックボーンに用い、データ品質を向上させるためにRGBチャネルごとの変換を使用する手法を提案
– 広範囲な実験により、提案手法の効果が検証されている

要約(オリジナル)

Recent years have witnessed an increased interest in image dehazing. Many deep learning methods have been proposed to tackle this challenge, and have made significant accomplishments dealing with homogeneous haze. However, these solutions cannot maintain comparable performance when they are applied to images with non-homogeneous haze, e.g., NH-HAZE23 dataset introduced by NTIRE challenges. One of the reasons for such failures is that non-homogeneous haze does not obey one of the assumptions that is required for modeling homogeneous haze. In addition, a large number of pairs of non-homogeneous hazy image and the clean counterpart is required using traditional end-to-end training approaches, while NH-HAZE23 dataset is of limited quantities. Although it is possible to augment the NH-HAZE23 dataset by leveraging other non-homogeneous dehazing datasets, we observe that it is necessary to design a proper data-preprocessing approach that reduces the distribution gaps between the target dataset and the augmented one. This finding indeed aligns with the essence of data-centric AI. With a novel network architecture and a principled data-preprocessing approach that systematically enhances data quality, we present an innovative dehazing method. Specifically, we apply RGB-channel-wise transformations on the augmented datasets, and incorporate the state-of-the-art transformers as the backbone in the two-branch framework. We conduct extensive experiments and ablation study to demonstrate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI