A Data-Centric Solution to NonHomogeneous Dehazing via Vision Transformer

要約

タイトル：Vision Transformerを用いた非均質ディヘイジングのためのデータ中心的なソリューション

要約：
– イメージディヘイジングに対する関心が高まっており、深層学習手法が提案されてきた。
– しかしながら、これらの手法は均質ヘイズ（モデリングが可能なもの）では有効だが、非均質ヘイズ（モデリングが困難なもの）に対しては同等のパフォーマンスを維持できない。
– その理由は、非均質ヘイズは均質ヘイズとは異なる分布を持つためである。
– 通常のエンドツーエンド学習手法を用いて、多数の非均質ヘイジー画像とクリーン画像のペアが必要であるが、NH-HAZE23データセットは数量が限定されている。
– そのため、NH-HAZE23データセットを他のデータセットに補完することが可能だが、分布ギャップを縮小する適切なデータ前処理アプローチが必要である。
– こうした問題はデータ中心的AIの本質に合致する。
– 新しいネットワークアーキテクチャとデータ品質をシステマティックに向上させるデータ前処理手法を提案し、RGBチャンネル毎の変換を適用し、最新のトランスフォーマーをバックボーンに組み込んだ二つのブランチのフレームワークを採用したディヘイジング手法を提供することができる。
– 広範囲な実験と検証により、提案手法の有効性を実証することができた。

要約(オリジナル)

Recent years have witnessed an increased interest in image dehazing. Many deep learning methods have been proposed to tackle this challenge, and have made significant accomplishments dealing with homogeneous haze. However, these solutions cannot maintain comparable performance when they are applied to images with non-homogeneous haze, e.g., NH-HAZE23 dataset introduced by NTIRE challenges. One of the reasons for such failures is that non-homogeneous haze does not obey one of the assumptions that is required for modeling homogeneous haze. In addition, a large number of pairs of non-homogeneous hazy image and the clean counterpart is required using traditional end-to-end training approaches, while NH-HAZE23 dataset is of limited quantities. Although it is possible to augment the NH-HAZE23 dataset by leveraging other non-homogeneous dehazing datasets, we observe that it is necessary to design a proper data-preprocessing approach that reduces the distribution gaps between the target dataset and the augmented one. This finding indeed aligns with the essence of data-centric AI. With a novel network architecture and a principled data-preprocessing approach that systematically enhances data quality, we present an innovative dehazing method. Specifically, we apply RGB-channel-wise transformations on the augmented datasets, and incorporate the state-of-the-art transformers as the backbone in the two-branch framework. We conduct extensive experiments and ablation study to demonstrate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI