Semi-UFormer: Semi-supervised Uncertainty-aware Transformer for Image Dehazing

要約

画像のかすみ除去は基本的なものですが、コンピューター ビジョンでは十分に解決されていません。
最先端のモデルのほとんどは合成データでトレーニングされているため、現実世界のあいまいなシナリオではパフォーマンスが低下します。
その上、彼らは通常、不確実性を掘り下げることを怠りながら、決定論的なかすみの除去された画像を提供します。
ドメインのギャップを埋め、かすみ除去のパフォーマンスを向上させるために、Semi-UFormer と呼ばれる、新しい半教師付き不確実性認識トランスネットワークを提案します。
Semi-UFormer は、実世界のぼやけた画像とその不確実性ガイダンス情報の両方を十分に活用できます。
具体的には、Semi-UFormer は知識蒸留フレームワーク上に構築されます。
このような教師と生徒のネットワークは、高品質のかすみ除去のために現実世界のかすみ情報を効果的に吸収します。
さらに、不確実性推定ブロックがモデルに導入され、ピクセルの不確実性表現を推定します。これは、学生ネットワークがかすみのない画像をより正確に生成するのに役立つガイダンス信号として使用されます。
広範な実験により、Semi-UFormer が合成画像から実世界の画像にうまく一般化できることが実証されています。

要約(オリジナル)

Image dehazing is fundamental yet not well-solved in computer vision. Most cutting-edge models are trained in synthetic data, leading to the poor performance on real-world hazy scenarios. Besides, they commonly give deterministic dehazed images while neglecting to mine their uncertainty. To bridge the domain gap and enhance the dehazing performance, we propose a novel semi-supervised uncertainty-aware transformer network, called Semi-UFormer. Semi-UFormer can well leverage both the real-world hazy images and their uncertainty guidance information. Specifically, Semi-UFormer builds itself on the knowledge distillation framework. Such teacher-student networks effectively absorb real-world haze information for quality dehazing. Furthermore, an uncertainty estimation block is introduced into the model to estimate the pixel uncertainty representations, which is then used as a guidance signal to help the student network produce haze-free images more accurately. Extensive experiments demonstrate that Semi-UFormer generalizes well from synthetic to real-world images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google