要約
画像のノイズ除去は、カメラの画像信号処理 (ISP) パイプラインの重要なコンポーネントです。
ISP パイプラインにデノイザーを挿入する一般的な方法は 2 つあります。1 つはキャプチャされた生のフレーム (生のドメイン) にデノイザーを直接適用する方法、または ISP の出力 sRGB イメージ (sRGB ドメイン) にデノイザーを適用する方法です。
ただし、どちらのアプローチにも限界があります。
raw ドメインのノイズ除去による残留ノイズは、後続の ISP 処理によって増幅される可能性があります。sRGB ドメインは、ISP によって歪められたノイズのみを認識するため、空間的に変化するノイズを処理するのに苦労します。
したがって、ほとんどの raw または sRGB ドメインのノイズ除去は、特定のノイズ分布と ISP 構成に対してのみ機能します。
これらの課題に対処するために、私たちは新しい学習ベースのデュアルドメインノイズ除去である DualDn を提案します。
以前の単一ドメインのノイズ除去とは異なり、DualDn は 2 つのノイズ除去ネットワークで構成されます。1 つは raw ドメインで、もう 1 つは sRGB ドメインです。
raw ドメインのノイズ除去はセンサー固有のノイズや空間的に変化するノイズ レベルに適応しますが、sRGB ドメインのノイズ除去は ISP の変動に適応し、ISP によって増幅された残留ノイズを除去します。
どちらのノイズ除去ネットワークも微分可能な ISP に接続されており、エンドツーエンドでトレーニングされ、推論段階で破棄されます。
この設計により、DualDn は、さまざまな目に見えないノイズ、ISP パラメーター、さらには新しい ISP パイプラインに適応できるため、ほとんどの学習ベースのノイズ除去方法と比較して優れた汎用性を実現します。
実験では、DualDn が最先端のパフォーマンスを実現し、さまざまなノイズ除去アーキテクチャに適応できることが示されています。
さらに、DualDn は、再トレーニングせずに実際のカメラでプラグアンドプレイのノイズ除去モジュールとして使用でき、市販のカメラ上のノイズ除去よりも優れたパフォーマンスを発揮します。
プロジェクトの Web サイトは https://openimaginglab.github.io/DualDn/ から入手できます。
要約(オリジナル)
Image denoising is a critical component in a camera’s Image Signal Processing (ISP) pipeline. There are two typical ways to inject a denoiser into the ISP pipeline: applying a denoiser directly to captured raw frames (raw domain) or to the ISP’s output sRGB images (sRGB domain). However, both approaches have their limitations. Residual noise from raw-domain denoising can be amplified by the subsequent ISP processing, and the sRGB domain struggles to handle spatially varying noise since it only sees noise distorted by the ISP. Consequently, most raw or sRGB domain denoising works only for specific noise distributions and ISP configurations. To address these challenges, we propose DualDn, a novel learning-based dual-domain denoising. Unlike previous single-domain denoising, DualDn consists of two denoising networks: one in the raw domain and one in the sRGB domain. The raw domain denoising adapts to sensor-specific noise as well as spatially varying noise levels, while the sRGB domain denoising adapts to ISP variations and removes residual noise amplified by the ISP. Both denoising networks are connected with a differentiable ISP, which is trained end-to-end and discarded during the inference stage. With this design, DualDn achieves greater generalizability compared to most learning-based denoising methods, as it can adapt to different unseen noises, ISP parameters, and even novel ISP pipelines. Experiments show that DualDn achieves state-of-the-art performance and can adapt to different denoising architectures. Moreover, DualDn can be used as a plug-and-play denoising module with real cameras without retraining, and still demonstrate better performance than commercial on-camera denoising. The project website is available at: https://openimaginglab.github.io/DualDn/
arxiv情報
| 著者 | Ruikang Li,Yujin Wang,Shiqi Chen,Fan Zhang,Jinwei Gu,Tianfan Xue |
| 発行日 | 2024-09-27 14:30:24+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google