Personalized Generative Low-light Image Denoising and Enhancement

要約

今日のスマートフォンカメラは驚くほど良い写真を生成することができますが、光子ショットノイズとセンサーの読み取りノイズの基本的な制限のため、低光でのパフォーマンスはまだ完全に満足のいくものではありません。
生成画像の修復方法は、従来の方法と比較して有望な結果を示していますが、信号対雑音比（SNR）が低い場合、幻覚のコンテンツ生成に悩まされています。
ユーザーのスマートフォンでパーソナライズされたフォトギャラリーの可用性を認識して、さまざまなユーザー向けにカスタマイズされた拡散モデルを構築することにより、パーソナライズされた生成除化（PGD）を提案します。
私たちのコアイノベーションは、ギャラリーから人の物理的な属性を抽出するアイデンティティ一貫性のある物理バッファーです。
このID無意味の物理バッファーは、微調整を必要とせずに、劣化した画像を復元するために拡散モデルと統合できる強力な事前を提供します。
幅広い低照度テストシナリオにおいて、PGDは、既存の拡散ベースの除去アプローチと比較して、優れた画像の除去および強化パフォーマンスを達成することを示しています。

要約(オリジナル)

While smartphone cameras today can produce astonishingly good photos, their performance in low light is still not completely satisfactory because of the fundamental limits in photon shot noise and sensor read noise. Generative image restoration methods have demonstrated promising results compared to traditional methods, but they suffer from hallucinatory content generation when the signal-to-noise ratio (SNR) is low. Recognizing the availability of personalized photo galleries on users’ smartphones, we propose Personalized Generative Denoising (PGD) by building a diffusion model customized for different users. Our core innovation is an identity-consistent physical buffer that extracts the physical attributes of the person from the gallery. This ID-consistent physical buffer provides a strong prior that can be integrated with the diffusion model to restore the degraded images, without the need of fine-tuning. Over a wide range of low-light testing scenarios, we show that PGD achieves superior image denoising and enhancement performance compared to existing diffusion-based denoising approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google