Modular Degradation Simulation and Restoration for Under-Display Camera

要約

アンダーディスプレイ カメラ (UDC) は、フルスクリーン スマートフォン向けの洗練されたソリューションを提供します。
ただし、センサーがディスプレイの下にあるため、UDC でキャプチャされた画像は深刻な劣化を被ります。
この問題は画像復元ネットワークで対処できますが、これらのネットワークではトレーニングに大規模な画像ペアが必要です。
この目的のために、UDC イメージングをシミュレートするための敵対的生成ネットワーク (GAN) フレームワークを使用してトレーニングされた、MPGNet と呼ばれるモジュラー ネットワークを提案します。
具体的には、UDC イメージングの劣化プロセスには、明るさの減衰、ぼやけ、ノイズの破損が含まれていることに注意してください。
したがって、特性に関連するモジュラー ネットワークを使用して各劣化をモデル化し、すべてのモジュラー ネットワークをカスケードして生成器を形成します。
ピクセル単位の弁別器と教師付き損失とともに、ジェネレーターをトレーニングして、UDC 画像劣化プロセスをシミュレートできます。
さらに、UDC イメージ復元用の DWFormer という名前の Transformer スタイルのネットワークを紹介します。
実用的な目的のために、マルチヘッド自己注意の代わりに深さ方向の畳み込みを使用して、ローカル空間情報を集約します。
さらに、明るさの回復に重要なグローバル情報を集約するための新しいチャネル注意モジュールを提案します。
UDC ベンチマークで評価を行ったところ、従来の最新モデルを P-OLED トラックで 1.23 dB、T-OLED トラックで 0.71 dB 上回っています。

要約(オリジナル)

Under-display camera (UDC) provides an elegant solution for full-screen smartphones. However, UDC captured images suffer from severe degradation since sensors lie under the display. Although this issue can be tackled by image restoration networks, these networks require large-scale image pairs for training. To this end, we propose a modular network dubbed MPGNet trained using the generative adversarial network (GAN) framework for simulating UDC imaging. Specifically, we note that the UDC imaging degradation process contains brightness attenuation, blurring, and noise corruption. Thus we model each degradation with a characteristic-related modular network, and all modular networks are cascaded to form the generator. Together with a pixel-wise discriminator and supervised loss, we can train the generator to simulate the UDC imaging degradation process. Furthermore, we present a Transformer-style network named DWFormer for UDC image restoration. For practical purposes, we use depth-wise convolution instead of the multi-head self-attention to aggregate local spatial information. Moreover, we propose a novel channel attention module to aggregate global information, which is critical for brightness recovery. We conduct evaluations on the UDC benchmark, and our method surpasses the previous state-of-the-art models by 1.23 dB on the P-OLED track and 0.71 dB on the T-OLED track, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google