Physics-guided Noise Neural Proxy for Practical Low-light Raw Image Denoising

要約

最近、低照度の生画像のノイズ除去方法をトレーニングするための主流の手法は、合成データを使用する方向に移行しています。
ノイズ モデリングは、現実世界のセンサーのノイズ分布の特性評価に重点を置き、合成データの有効性と実用性に大きな影響を与えます。
現在、物理ベースのノイズ モデリングは実際のノイズ分布全体を特徴付けるのに苦労していますが、学習ベースのノイズ モデリングは実際にはペアになった実際のデータに依存しています。
この論文では、データの依存関係を解消するために、ペアになった実データの代わりにダーク フレームからノイズ モデルを学習するという新しい戦略を提案します。
この戦略に基づいて、現実世界のセンサー ノイズ モデルを近似するための効率的な物理ガイド ノイズ ニューラル プロキシ (PNNP) を導入します。
具体的には、物理​​事前分布をニューラル プロキシに統合し、物理ガイド付きノイズ デカップリング (PND)、物理ガイド付きプロキシ モデル (PPM)、および微分可能分布損失 (DDL) という 3 つの効率的な手法を導入します。
PND は、ダーク フレームをさまざまなコンポーネントに分離し、さまざまなレベルのノイズを柔軟に処理するため、ノイズ モデリングの複雑さが軽減されます。
PPM には、生成されるノイズを制限する物理事前分布が組み込まれており、これによりノイズ モデリングの精度が向上します。
DDL は、ノイズ分布に対して明示的かつ信頼性の高い監視を提供し、ノイズ モデリングの精度を高めます。
PNNP は、実際のノイズ分布を特徴付ける上で強力な可能性を示します。
公開データセットに対する広範な実験により、実用的な低照度の生画像のノイズ除去において優れたパフォーマンスが実証されました。
コードは \url{https://github.com/fenghansen/PNNP} で入手できます。

要約(オリジナル)

Recently, the mainstream practice for training low-light raw image denoising methods has shifted towards employing synthetic data. Noise modeling, which focuses on characterizing the noise distribution of real-world sensors, profoundly influences the effectiveness and practicality of synthetic data. Currently, physics-based noise modeling struggles to characterize the entire real noise distribution, while learning-based noise modeling impractically depends on paired real data. In this paper, we propose a novel strategy: learning the noise model from dark frames instead of paired real data, to break down the data dependency. Based on this strategy, we introduce an efficient physics-guided noise neural proxy (PNNP) to approximate the real-world sensor noise model. Specifically, we integrate physical priors into neural proxies and introduce three efficient techniques: physics-guided noise decoupling (PND), physics-guided proxy model (PPM), and differentiable distribution loss (DDL). PND decouples the dark frame into different components and handles different levels of noise flexibly, which reduces the complexity of noise modeling. PPM incorporates physical priors to constrain the generated noise, which promotes the accuracy of noise modeling. DDL provides explicit and reliable supervision for noise distribution, which promotes the precision of noise modeling. PNNP exhibits powerful potential in characterizing the real noise distribution. Extensive experiments on public datasets demonstrate superior performance in practical low-light raw image denoising. The code will be available at \url{https://github.com/fenghansen/PNNP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google