Progressive Joint Low-light Enhancement and Noise Removal for Raw Images

要約

モバイル機器における低照度画像処理は、比較的小さな開口部からの入射光が十分でないため、一般にS/N比が低く、困難な課題となっています。低照度画像処理に関するこれまでの研究のほとんどは、照度調整、色補正、ノイズ除去といった単一のタスクのみに焦点を当てているか、あるいは、特定のカメラモデルから収集した短・長時間露出画像ペアに大きく依存する照度調整とノイズ除去のジョイントタスクに焦点を当てており、したがって、カメラ固有のジョイント強調と復元が必要な実環境ではこれらのアプローチはあまり実用的ではないし一般化しにくいものです。この問題に取り組むため、本論文では、照明調整、色強調、ノイズ除去を合同で行う低照度画像処理フレームワークを提案する。モデル固有のデータ収集の困難さと撮影画像の超高精細化を考慮し、我々は係数推定ブランチと共同強調・ノイズ除去ブランチの2つを設計する。係数推定ブランチは低解像度空間で動作し、バイラテラル学習により強調する係数を予測する。一方、結合強調・ノイズ除去ブランチは全解像度空間で動作し、結合強調・ノイズ除去を漸進的に実行する。既存の手法とは異なり、本フレームワークは他のカメラモデルに適用する際に膨大なデータを回収する必要がないため、実用化に向けたアプローチの微調整に必要な労力を大幅に軽減することができる。このため、本手法の実用化に向けた微調整に必要な労力を大幅に削減することが可能です。

要約(オリジナル)

Low-light imaging on mobile devices is typically challenging due to insufficient incident light coming through the relatively small aperture, resulting in a low signal-to-noise ratio. Most of the previous works on low-light image processing focus either only on a single task such as illumination adjustment, color enhancement, or noise removal; or on a joint illumination adjustment and denoising task that heavily relies on short-long exposure image pairs collected from specific camera models, and thus these approaches are less practical and generalizable in real-world settings where camera-specific joint enhancement and restoration is required. To tackle this problem, in this paper, we propose a low-light image processing framework that performs joint illumination adjustment, color enhancement, and denoising. Considering the difficulty in model-specific data collection and the ultra-high definition of the captured images, we design two branches: a coefficient estimation branch as well as a joint enhancement and denoising branch. The coefficient estimation branch works in a low-resolution space and predicts the coefficients for enhancement via bilateral learning, whereas the joint enhancement and denoising branch works in a full-resolution space and progressively performs joint enhancement and denoising. In contrast to existing methods, our framework does not need to recollect massive data when being adapted to another camera model, which significantly reduces the efforts required to fine-tune our approach for practical usage. Through extensive experiments, we demonstrate its great potential in real-world low-light imaging applications when compared with current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL