Physics-guided Noise Neural Proxy for Low-light Raw Image Denoising

要約

低照度の RAW 画像のノイズ除去はモバイル写真撮影において重要な役割を果たしており、学習ベースの手法が主流のアプローチとなっています。
合成データを使用して学習ベースの方法をトレーニングすることは、ペアになった実際のデータに代わる効率的かつ実用的な方法として浮上します。
ただし、合成データの品質はノイズ モデルの精度が低いため本質的に制限され、低照度での生画像のノイズ除去のパフォーマンスが低下します。
この論文では、ダーク フレームから物理誘導ノイズ ニューラル プロキシ (PNNP) を学習する、正確なノイズ モデリングのための新しいフレームワークを開発します。
PNNP は、物理ガイド付きノイズ デカップリング (PND)、物理ガイド付きプロキシ モデル (PPM)、および微分可能分布指向損失 (DDL) という 3 つの効率的な手法を統合します。
PND は、ダーク フレームをさまざまなコンポーネントに分離し、さまざまなレベルのノイズを柔軟な方法で処理するため、ノイズ ニューラル プロキシの複雑さが軽減されます。
PPM には、生成されるノイズを効果的に制限する物理事前分布が組み込まれており、これによりノイズ ニューラル プロキシの精度が向上します。
DDL は、ノイズ モデリングに対して明示的かつ信頼性の高い監視を提供し、ノイズ ニューラル プロキシの精度を高めます。
公共の低照度生画像のノイズ除去データセットと実際の低照度イメージング シナリオに関する広範な実験により、PNNP フレームワークの優れたパフォーマンスが実証されました。

要約(オリジナル)

Low-light raw image denoising plays a crucial role in mobile photography, and learning-based methods have become the mainstream approach. Training the learning-based methods with synthetic data emerges as an efficient and practical alternative to paired real data. However, the quality of synthetic data is inherently limited by the low accuracy of the noise model, which decreases the performance of low-light raw image denoising. In this paper, we develop a novel framework for accurate noise modeling that learns a physics-guided noise neural proxy (PNNP) from dark frames. PNNP integrates three efficient techniques: physics-guided noise decoupling (PND), physics-guided proxy model (PPM), and differentiable distribution-oriented loss (DDL). The PND decouples the dark frame into different components and handles different levels of noise in a flexible manner, which reduces the complexity of the noise neural proxy. The PPM incorporates physical priors to effectively constrain the generated noise, which promotes the accuracy of the noise neural proxy. The DDL provides explicit and reliable supervision for noise modeling, which promotes the precision of the noise neural proxy. Extensive experiments on public low-light raw image denoising datasets and real low-light imaging scenarios demonstrate the superior performance of our PNNP framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google