D2HNet: Joint Denoising and Deblurring with Hierarchical Network for Robust Night Image Restoration

要約

最新のスマートフォンカメラを使用した夜間のイメージングは​​、フォトン数が少なく、イメージングシステムのノイズが避けられないため、面倒です。
露出時間とISO定格を直接調整することは、暗い場所で同時に鮮明でノイズのない画像を取得することはできません。
ノイズの多い夜の画像やぼやけた夜の画像を強調する方法は数多く提案されていますが、1）1つの画像の情報が限られていること、2）合成トレーニング画像と実際の画像のドメインのギャップがあることから、実際の夜の写真でのパフォーマンスは依然として不十分です。
-世界の写真（例：ぼかし領域と解像度の違い）。
連続する長時間および短時間の露出画像からの情報を活用するために、それらを融合するための学習ベースのパイプラインを提案します。
D2HNetフレームワークは、短時間露光画像のガイダンスの下で長時間露光画像のぼけを除去して強調することにより、高品質の画像を復元するために開発されました。
ドメインギャップを縮小するために、2フェーズのDeblurNet-EnhanceNetアーキテクチャを活用します。これは、固定された低解像度で正確なブラー除去を実行し、さまざまな解像度の入力で広範囲のブラーを処理できるようにします。
さらに、HDビデオからD2-データセットを合成して実験します。
検証セットと実際の写真の結果は、私たちの方法がより良い視覚的品質と最先端の定量的スコアを達成することを示しています。
D2HNetコード、モデル、およびD2-データセットはhttps://github.com/zhaoyuzhi/D2HNetにあります。

要約(オリジナル)

Night imaging with modern smartphone cameras is troublesome due to low photon count and unavoidable noise in the imaging system. Directly adjusting exposure time and ISO ratings cannot obtain sharp and noise-free images at the same time in low-light conditions. Though many methods have been proposed to enhance noisy or blurry night images, their performances on real-world night photos are still unsatisfactory due to two main reasons: 1) Limited information in a single image and 2) Domain gap between synthetic training images and real-world photos (e.g., differences in blur area and resolution). To exploit the information from successive long- and short-exposure images, we propose a learning-based pipeline to fuse them. A D2HNet framework is developed to recover a high-quality image by deblurring and enhancing a long-exposure image under the guidance of a short-exposure image. To shrink the domain gap, we leverage a two-phase DeblurNet-EnhanceNet architecture, which performs accurate blur removal on a fixed low resolution so that it is able to handle large ranges of blur in different resolution inputs. In addition, we synthesize a D2-Dataset from HD videos and experiment on it. The results on the validation set and real photos demonstrate our methods achieve better visual quality and state-of-the-art quantitative scores. The D2HNet codes, models, and D2-Dataset can be found at https://github.com/zhaoyuzhi/D2HNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google