Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer

要約

前面カメラをディスプレイパネルの下に隠すことで、アンダー・ディスプレイ・カメラ（UDC）はユーザーにフルスクリーン体験を提供する。しかし、ディスプレイの特性上、UDCで撮影された画像は大幅な画質劣化に悩まされる。UDCの画像復元については、これまでにも様々な手法が提案され、成果を上げてきた。しかし、UDCシーンにおける最も一般的な問題であると考えられる顔画像の復元に特化した手法やデータセットはまだ存在しない。そこで、UDCの撮像過程における色フィルタリング、輝度減衰、回折を考慮し、UDCの撮像過程をモデル化してUDC画像を合成するUDC劣化モデルネットワークUDC-DMNetを提案する。次に、UDC-DMNetとFFHQとCelebA-Testの高品質顔画像を用いて、UDC顔復元用の学習データセットFFHQ-P/TとテストデータセットCelebA-Test-P/Tを作成する。我々は、DGFormerと名付けられた新しい辞書ガイド付き変換ネットワークを提案する。顔成分辞書とUDC画像の特徴を復元に導入することで、DGFormerはUDCシナリオにおけるブラインド顔復元に対応できる。実験によれば、我々のDGFormerとUDC-DMNetは最先端の性能を達成している。

要約(オリジナル)

By hiding the front-facing camera below the display panel, Under-Display Camera (UDC) provides users with a full-screen experience. However, due to the characteristics of the display, images taken by UDC suffer from significant quality degradation. Methods have been proposed to tackle UDC image restoration and advances have been achieved. There are still no specialized methods and datasets for restoring UDC face images, which may be the most common problem in the UDC scene. To this end, considering color filtering, brightness attenuation, and diffraction in the imaging process of UDC, we propose a two-stage network UDC Degradation Model Network named UDC-DMNet to synthesize UDC images by modeling the processes of UDC imaging. Then we use UDC-DMNet and high-quality face images from FFHQ and CelebA-Test to create UDC face training datasets FFHQ-P/T and testing datasets CelebA-Test-P/T for UDC face restoration. We propose a novel dictionary-guided transformer network named DGFormer. Introducing the facial component dictionary and the characteristics of the UDC image in the restoration makes DGFormer capable of addressing blind face restoration in UDC scenarios. Experiments show that our DGFormer and UDC-DMNet achieve state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL