Self-Supervised Image Restoration with Blurry and Noisy Pairs

要約

光量が不十分な環境で写真を撮影する場合、満足のいく画質の画像を取得するには、通常、露出時間とセンサーのゲインを慎重に選択する必要があります。
たとえば、高 ISO の画像には通常避けられないノイズが含まれますが、長時間露光の画像は手ぶれやオブジェクトの動きによってぼやけることがあります。
既存のソリューションは一般に、ノイズとぼかしのバランスを模索し、完全または自己監視の下でノイズ除去またはブレ除去モデルを学習することを提案しています。
ただし、現実世界のトレーニング ペアを収集するのは難しく、自己教師ありの方法は単にぼやけた画像やノイズの多い画像に依存するだけで、パフォーマンスが制限されます。
この作業では、短時間露光のノイズの多い画像と長時間露光のぼやけた画像を組み合わせて活用することで、この問題に取り組み、画像をより適切に復元します。
このような設定は、短時間露光と長時間露光の画像を 2 台の個別のカメラで取得するか、画像の長時間バーストで合成できるため、実際に実行可能です。
さらに、短時間露光の画像はぼやけがほとんどなく、長時間露光の画像にはノイズがほとんどありません。
それらの相補性により、自己管理型の方法で復元モデルを学習することが可能になります。
具体的には、ノイズの多い画像は、ブレ除去の監視情報として使用できますが、ぼやけた画像のシャープな領域は、自己監視ノイズ除去の補助監視情報として利用できます。
協力して学習することで、この方法のブレ除去とノイズ除去のタスクは互いに利益を得ることができます。
合成画像と実世界画像の実験は、提案された方法の有効性と実用性を示しています。
コードは https://github.com/cszhilu1998/SelfIR で入手できます。

要約(オリジナル)

When taking photos under an environment with insufficient light, the exposure time and the sensor gain usually require to be carefully chosen to obtain images with satisfying visual quality. For example, the images with high ISO usually have inescapable noise, while the long-exposure ones may be blurry due to camera shake or object motion. Existing solutions generally suggest to seek a balance between noise and blur, and learn denoising or deblurring models under either full- or self-supervision. However, the real-world training pairs are difficult to collect, and the self-supervised methods merely rely on blurry or noisy images are limited in performance. In this work, we tackle this problem by jointly leveraging the short-exposure noisy image and the long-exposure blurry image for better image restoration. Such setting is practically feasible due to that short-exposure and long-exposure images can be either acquired by two individual cameras or synthesized by a long burst of images. Moreover, the short-exposure images are hardly blurry, and the long-exposure ones have negligible noise. Their complementarity makes it feasible to learn restoration model in a self-supervised manner. Specifically, the noisy images can be used as the supervision information for deblurring, while the sharp areas in the blurry images can be utilized as the auxiliary supervision information for self-supervised denoising. By learning in a collaborative manner, the deblurring and denoising tasks in our method can benefit each other. Experiments on synthetic and real-world images show the effectiveness and practicality of the proposed method. Codes are available at https://github.com/cszhilu1998/SelfIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google