HazeCLIP: Towards Language Guided Real-World Image Dehazing

要約

既存の方法は、特に合成データセット上で、単一画像のかすみ除去において顕著なパフォーマンスを達成しています。
ただし、ドメインシフトにより現実世界のぼやけた画像に苦戦することが多く、実際の適用性が制限されます。
このペーパーでは、事前トレーニングされたかすみ除去ネットワークの実世界のパフォーマンスを向上させるために設計された、言語ガイドによる適応フレームワークである HazeCLIP を紹介します。
かすんだ画像ときれいな画像を区別する Contrastive Language-Image Pre-training (CLIP) モデルの機能に触発され、それを利用してかすみ除去の結果を評価します。
地域固有のかすみ除去技術とカスタマイズされたプロンプト セットを組み合わせた CLIP モデルは、かすみ領域を正確に特定し、事前トレーニングされたネットワークの微調整プロセスをガイドする高品質で人間のような事前学習を提供します。
広範な実験により、HazeCLIP が実際の画像のかすみ除去において最先端のパフォーマンスを達成し、視覚的品質と非参照品質評価の両方を通じて評価されることが実証されました。
コードは https://github.com/Troivyn/HazeCLIP から入手できます。

要約(オリジナル)

Existing methods have achieved remarkable performance in single image dehazing, particularly on synthetic datasets. However, they often struggle with real-world hazy images due to domain shift, limiting their practical applicability. This paper introduces HazeCLIP, a language-guided adaptation framework designed to enhance the real-world performance of pre-trained dehazing networks. Inspired by the Contrastive Language-Image Pre-training (CLIP) model’s ability to distinguish between hazy and clean images, we utilize it to evaluate dehazing results. Combined with a region-specific dehazing technique and tailored prompt sets, CLIP model accurately identifies hazy areas, providing a high-quality, human-like prior that guides the fine-tuning process of pre-trained networks. Extensive experiments demonstrate that HazeCLIP achieves the state-of-the-art performance in real-word image dehazing, evaluated through both visual quality and no-reference quality assessments. The code is available: https://github.com/Troivyn/HazeCLIP .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google