Integrating Spatial and Frequency Information for Under-Display Camera Image Restoration

要約

アンダーディスプレイカメラ（UDC）には、ディスプレイパネルの下にデジタルカメラレンズがあります。
ただし、UDCは、ノイズ、ぼやけ、透過率の減少、フレアなどの複雑な分解を導入します。
驚くべき進歩にもかかわらず、UDCに関する以前の研究は、主に空間ドメインの回折の排除に焦点を当てており、周波数領域でのその可能性を調査することはめったにありません。
空間ドメインと周波数ドメインの両方を効果的に考慮することが不可欠です。
たとえば、ノイズやぼかしなどの分解は、ローカル情報（たとえば、空間ドメインのCNNカーネルなど）で対処できます。
同時に、フレアへの取り組みには、グローバル情報を活用する必要がある場合があります（たとえば、周波数領域）。
この論文では、フーリエ空間のUDC分解を再検討し、フレアの存在を意味する固有の周波数事前に把握します。
この観察に基づいて、SFIMと呼ばれる新しいマルチレベルDNNアーキテクチャを提案します。
ローカルおよびグローバル（画像内のすべてのポイントの集合的な貢献）を統合することにより、UDCが設定された画像を効率的に復元します。
アーキテクチャは、CNNSを利用してローカル情報とFFTベースのモデルをキャプチャして、グローバル情報をキャプチャします。
SFIMは、空間ドメインブロック（SDB）、周波数ドメインブロック（FDB）、および注意ベースのマルチレベル積分ブロック（AMIB）を含みます。
具体的には、SDBはノイズやぼやけなどの詳細なテクスチャに焦点を当て、FDBはフレアなどの広範な領域で不規則なテクスチャ損失を強調し、AMIBは効果的なクロスドメイン相互作用を可能にします。
SFIMの最先端のアプローチに対する優れたパフォーマンスは、3つのUDCベンチマークにわたる厳格な定量的および定性的評価を通じて実証されています。

要約(オリジナル)

Under-Display Camera (UDC) houses a digital camera lens under a display panel. However, UDC introduces complex degradations such as noise, blur, decrease in transmittance, and flare. Despite the remarkable progress, previous research on UDC mainly focuses on eliminating diffraction in the spatial domain and rarely explores its potential in the frequency domain. It is essential to consider both the spatial and frequency domains effectively. For example, degradations, such as noise and blur, can be addressed by local information (e.g., CNN kernels in the spatial domain). At the same time, tackling flares may require leveraging global information (e.g., the frequency domain). In this paper, we revisit the UDC degradations in the Fourier space and figure out intrinsic frequency priors that imply the presence of the flares. Based on this observation, we propose a novel multi-level DNN architecture called SFIM. It efficiently restores UDC-distorted images by integrating local and global (the collective contribution of all points in the image) information. The architecture exploits CNNs to capture local information and FFT-based models to capture global information. SFIM comprises a spatial domain block (SDB), a Frequency Domain Block (FDB), and an Attention-based Multi-level Integration Block (AMIB). Specifically, SDB focuses more on detailed textures such as noise and blur, FDB emphasizes irregular texture loss in extensive areas such as flare, and AMIB enables effective cross-domain interaction. SFIM’s superior performance over state-of-the-art approaches is demonstrated through rigorous quantitative and qualitative assessments across three UDC benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google