LMHaze: Intensity-aware Image Dehazing with a Large-scale Multi-intensity Real Haze Dataset

要約

画像のかすみ除去は、近年大きな注目を集めています。
学習ベースの方法では、通常、トレーニング用にかすんだ画像と対応するグラウンド トゥルース (かすみのない) 画像のペアが必要です。
しかし、現実世界の画像ペアを収集することは困難であり、既存の手法の開発を妨げています。
いくつかの研究では、合成データセットまたは小規模な実際のデータセットを使用することで、この問題を部分的に軽減しています。
既存のデータセットにおけるヘイズ強度分布の偏りおよびシーンの均一性により、特にこれまでに見たことのないヘイズ強度を持つ画像に遭遇した場合、これらの方法の一般化能力が制限されます。
この研究では、大規模で高品質な実世界のデータセットである LMHaze を紹介します。
LMHaze は、屋内および屋外のさまざまな環境で撮影された、霞んだ画像と霞のない画像のペアで構成され、複数のシナリオと霞の強度にまたがります。
これには 5K を超える高解像度画像ペアが含まれており、既存の最大の実世界のかすみ除去データセットのサイズを 25 倍以上上回っています。
一方、異なるヘイズ強度の画像をより適切に処理するために、かすみの強度に応じてモデルパラメータを動的に調整する、かすみ除去用のMamba (MoE-Mamba)に基づく専門家混合モデルを提案します。
さらに、私たちが提案したデータセットを使用して、かすみが除去された画像を評価するために人間の知覚をシミュレートする新しい大規模マルチモーダル モデル (LMM) ベースのベンチマーク研究を実施します。
実験では、LMHaze データセットが実際のシナリオでのかすみ除去パフォーマンスを向上させ、私たちのかすみ除去方法が最先端の方法と比較して優れた結果を提供することを実証しています。

要約(オリジナル)

Image dehazing has drawn a significant attention in recent years. Learning-based methods usually require paired hazy and corresponding ground truth (haze-free) images for training. However, it is difficult to collect real-world image pairs, which prevents developments of existing methods. Although several works partially alleviate this issue by using synthetic datasets or small-scale real datasets. The haze intensity distribution bias and scene homogeneity in existing datasets limit the generalization ability of these methods, particularly when encountering images with previously unseen haze intensities. In this work, we present LMHaze, a large-scale, high-quality real-world dataset. LMHaze comprises paired hazy and haze-free images captured in diverse indoor and outdoor environments, spanning multiple scenarios and haze intensities. It contains over 5K high-resolution image pairs, surpassing the size of the biggest existing real-world dehazing dataset by over 25 times. Meanwhile, to better handle images with different haze intensities, we propose a mixture-of-experts model based on Mamba (MoE-Mamba) for dehazing, which dynamically adjusts the model parameters according to the haze intensity. Moreover, with our proposed dataset, we conduct a new large multimodal model (LMM)-based benchmark study to simulate human perception for evaluating dehazed images. Experiments demonstrate that LMHaze dataset improves the dehazing performance in real scenarios and our dehazing method provides better results compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google