Combining Pre- and Post-Demosaicking Noise Removal for RAW Video

要約

ノイズ除去は、カメラセンサーによって取り込まれたデータを表示可能な画像やビデオに変換する処理パイプラインの基本ステップの1つである。一般的にはパイプラインの初期段階、通常はデモザイク処理の前に実行されるが、その順序を入れ替えたり、あるいは合同で実施する研究も提案されている。ディープラーニングの登場により、ノイズ除去アルゴリズムの品質は着実に向上している。それでも、最新のニューラルネットワークは、実世界のアプリケーションに不可欠な、新しいノイズレベルやシーンに適応するのに苦労している。このような背景から、我々は、ベイヤーパターンのCFAビデオデータに対して、デモザイク前デノイザーとデモザイク後デノイザーの両方を重み付けする、自己相似性に基づくノイズ除去スキームを提案する。この2つのバランスが画質を向上させることを示し、経験的にノイズレベルが高いほど、デモザイク前の影響力が高い方が有益であることを見出す。また、それぞれのノイズ除去の前に、時間的軌跡のプレフィルタリングステップを統合することで、テクスチャ再構成をさらに改善する。提案手法は、センサーにおけるノイズモデルの推定を必要とするだけであり、どのようなノイズレベルにも正確に適応し、最先端の技術に引けを取らないため、実世界のビデオ撮影に適している。

要約(オリジナル)

Denoising is one of the fundamental steps of the processing pipeline that converts data captured by a camera sensor into a display-ready image or video. It is generally performed early in the pipeline, usually before demosaicking, although studies swapping their order or even conducting them jointly have been proposed. With the advent of deep learning, the quality of denoising algorithms has steadily increased. Even so, modern neural networks still have a hard time adapting to new noise levels and scenes, which is indispensable for real-world applications. With those in mind, we propose a self-similarity-based denoising scheme that weights both a pre- and a post-demosaicking denoiser for Bayer-patterned CFA video data. We show that a balance between the two leads to better image quality, and we empirically find that higher noise levels benefit from a higher influence pre-demosaicking. We also integrate temporal trajectory prefiltering steps before each denoiser, which further improve texture reconstruction. The proposed method only requires an estimation of the noise model at the sensor, accurately adapts to any noise level, and is competitive with the state of the art, making it suitable for real-world videography.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL