Towards Real-time High-Definition Image Snow Removal: Efficient Pyramid Network with Asymmetrical Encoder-decoder Architecture

要約

冬のシーンでは、雪の下で撮影された画像の劣化はかなり複雑になる可能性があり、雪の劣化の空間分布は画像ごとに異なります。
最近の方法では、深いニューラルネットワークを採用して、雪の画像からきれいなシーンを直接復元しています。
ただし、複雑な雪の劣化の変化によって引き起こされるパラドックスのため、リアルタイムで信頼性の高い高解像度画像のスノーイング性能を達成することはかなりの課題です。
リアルタイムHD画像の脱雪のための非対称エンコーダー-デコーダーアーキテクチャを備えた新しい効率的なピラミッドネットワークを開発します。
提案されたネットワークの一般的な考え方は、マルチスケールの機能フローを完全かつ暗黙的に機能からクリーンな手がかりをマイニングすることです。
以前の最先端の除雪方法と比較して、私たちのアプローチは、より優れた複雑さとパフォーマンスのトレードオフを実現し、HDおよびUltra-HD画像の処理の難しさを効果的に処理します。
3つの大規模な画像脱雪データセットでの広範な実験は、私たちの方法が定量的および定性的にすべての最先端のアプローチを大幅に上回り、CSDテストデータセットのPSNRメトリックを31.76dBから34.10dBに引き上げることを示しています。
SRRSテストデータセットで28.29dBから30.87dBまで。

要約(オリジナル)

In winter scenes, the degradation of images taken under snow can be pretty complex, where the spatial distribution of snowy degradation is varied from image to image. Recent methods adopt deep neural networks to directly recover clean scenes from snowy images. However, due to the paradox caused by the variation of complex snowy degradation, achieving reliable High-Definition image desnowing performance in real time is a considerable challenge. We develop a novel Efficient Pyramid Network with asymmetrical encoder-decoder architecture for real-time HD image desnowing. The general idea of our proposed network is to utilize the multi-scale feature flow fully and implicitly mine clean cues from features. Compared with previous state-of-the-art desnowing methods, our approach achieves a better complexity-performance trade-off and effectively handles the processing difficulties of HD and Ultra-HD images. The extensive experiments on three large-scale image desnowing datasets demonstrate that our method surpasses all state-of-the-art approaches by a large margin both quantitatively and qualitatively, boosting the PSNR metric from 31.76 dB to 34.10 dB on the CSD test dataset and from 28.29 dB to 30.87 dB on the SRRS test dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google