Prompt-based test-time real image dehazing: a novel pipeline

要約

既存の手法は、適切に設計されたトレーニング スキーム (cycleGAN、事前損失など) を探索することにより、現実世界のかすんだ画像に対するモデルの一般化能力を向上させようとしています。
ただし、それらのほとんどは満足のいく結果を達成するために非常に複雑なトレーニング手順を必要とします。
この研究では、プロンプトベースのテスト時間かすみ除去 (PTTD) と呼ばれるまったく新しいテスト パイプラインを紹介し、推論段階で実際にキャプチャされたかすんだ画像の視覚的に満足のいく結果を生成できるようにします。
合成データでトレーニングされたかすみ除去モデルが与えられた場合、符号化特徴の統計 (つまり、平均と標準偏差) を微調整することで、PTTD がドメイン ギャップを狭め、実画像のかすみ除去のパフォーマンスを向上できることが実験的にわかりました。
したがって、最初にプロンプ​​ト生成モジュール (PGM) を適用して、平均と標準偏差の適切な統計的摂動のソースとなる視覚的なプロンプトを生成します。
次に、生成されたプロンプトのガイダンスに従って元の統計を調整するために、既存のかすみ除去モデルに特徴適応モジュール (FAM) を採用します。
PTTD はモデルに依存せず、合成ヘイジーとクリーンのペアでトレーニングされたさまざまな最先端のかすみ除去モデルを装備できることに注意してください。
広範な実験結果は、当社の PTTD が柔軟でありながら、現実のシナリオにおける最先端のかすみ除去方法に対して優れたパフォーマンスを達成することを実証しています。

要約(オリジナル)

Existing methods attempt to improve models’ generalization ability on real-world hazy images by exploring well-designed training schemes (e.g., cycleGAN, prior loss). However, most of them need very complicated training procedures to achieve satisfactory results. In this work, we present a totally novel testing pipeline called Prompt-based Test-Time Dehazing (PTTD) to help generate visually pleasing results of real-captured hazy images during the inference phase. We experimentally find that given a dehazing model trained on synthetic data, by fine-tuning the statistics (i.e., mean and standard deviation) of encoding features, PTTD is able to narrow the domain gap, boosting the performance of real image dehazing. Accordingly, we first apply a prompt generation module (PGM) to generate a visual prompt, which is the source of appropriate statistical perturbations for mean and standard deviation. And then, we employ the feature adaptation module (FAM) into the existing dehazing models for adjusting the original statistics with the guidance of the generated prompt. Note that, PTTD is model-agnostic and can be equipped with various state-of-the-art dehazing models trained on synthetic hazy-clean pairs. Extensive experimental results demonstrate that our PTTD is flexible meanwhile achieves superior performance against state-of-the-art dehazing methods in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google