Depth Information Assisted Collaborative Mutual Promotion Network for Single Image Dehazing

要約

単一のかすんだ画像から鮮明な画像を復元することは、未解決の逆問題です。
研究は大幅に進歩しましたが、既存の手法のほとんどは、上流のかすみ除去の促進において下流のタスクが果たす影響を無視しています。
かすみの生成メカニズムの観点から見ると、シーンの深度情報とかすみ画像の間には潜在的な関係があります。
これに基づいて、単一画像のかすみ除去を達成するための二重タスクの協調的相互促進フレームワークを提案します。
このフレームワークは、デュアルタスク相互作用メカニズムによって深度推定とかすみ除去を統合し、それらのパフォーマンスの相互強化を実現します。
2 つのタスクの共同最適化を実現するために、違いを認識する代替実装メカニズムが開発されます。
一方では、かすみ除去結果の深度マップと理想的な画像との間の差異認識は、かすみ除去ネットワークがかすみ除去の非理想領域に注意を払うことを促進するために提案されています。
一方、かすみ画像の回復が困難な領域での深度推定パフォーマンスを向上させることにより、かすみ除去ネットワークは、かすみ画像の深度情報を明示的に使用して、鮮明な画像の回復を支援できます。
深度推定を促進するために、かすみを除去した画像とグラウンド トゥルースの差を使用して、かすみを除去した非理想的な領域に焦点を当てるように深度推定ネットワークを誘導することを提案します。
これにより、かすみ除去と深度推定が相互に強化する形でそれぞれの強みを活用できるようになります。
実験結果は、提案された方法が最先端のアプローチよりも優れたパフォーマンスを達成できることを示しています。

要約(オリジナル)

Recovering a clear image from a single hazy image is an open inverse problem. Although significant research progress has been made, most existing methods ignore the effect that downstream tasks play in promoting upstream dehazing. From the perspective of the haze generation mechanism, there is a potential relationship between the depth information of the scene and the hazy image. Based on this, we propose a dual-task collaborative mutual promotion framework to achieve the dehazing of a single image. This framework integrates depth estimation and dehazing by a dual-task interaction mechanism and achieves mutual enhancement of their performance. To realize the joint optimization of the two tasks, an alternative implementation mechanism with the difference perception is developed. On the one hand, the difference perception between the depth maps of the dehazing result and the ideal image is proposed to promote the dehazing network to pay attention to the non-ideal areas of the dehazing. On the other hand, by improving the depth estimation performance in the difficult-to-recover areas of the hazy image, the dehazing network can explicitly use the depth information of the hazy image to assist the clear image recovery. To promote the depth estimation, we propose to use the difference between the dehazed image and the ground truth to guide the depth estimation network to focus on the dehazed unideal areas. It allows dehazing and depth estimation to leverage their strengths in a mutually reinforcing manner. Experimental results show that the proposed method can achieve better performance than that of the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google