UDC-VIT: A Real-World Video Dataset for Under-Display Cameras

要約

ディスプレイカメラ（UDC）は、デジタルカメラレンズをディスプレイパネルの下に配置し、カメラを効果的に隠す高度なイメージングシステムです。
ただし、ディスプレイパネルはキャプチャされた画像またはビデオを大幅に分解し、低透過率、ぼやけ、ノイズ、およびフレアの問題を導入します。
このような問題に取り組むことは、多様なフレアパターンを含むUDCの複雑な劣化のために挑戦的です。
UDC画像とその修復モデルに関する広範な研究にもかかわらず、ビデオに関する研究はまだ大幅に調査されていません。
2つのUDCビデオデータセットが存在しますが、実際のUDCの劣化ではなく、主に非現実的または合成UDCの劣化に焦点を当てています。
この論文では、UDC-Vitと呼ばれる現実世界のUDCビデオデータセットを提案します。
既存のデータセットとは異なり、UDC-vitのみが、顔の認識を対象とする人間の動きのみが含まれます。
同じシーンの非分解されていないUDC分解されたビデオを同時に取得するためのビデオキャプチャシステムを提案します。
次に、離散フーリエ変換（DFT）を使用して、フレームごとにキャプチャされたビデオのペアを整列させます。
UDC-Vitを6つの代表的なUDC Still Image Datasetと2つの既存のUDCビデオデータセットと比較します。
6つのディープラーニングモデルを使用して、UDC-vitと既存の合成UDCビデオデータセットを比較します。
結果は、UDCが劣化したビデオの実際の特性を反映していないため、以前の合成UDCビデオデータセットでトレーニングされたモデルの非効率性を示しています。
また、PSNR、SSIM、およびLPIPSスコアに関する顔認識の精度を評価することにより、効果的なUDC修復の重要性を実証します。
UDC-VITは、UDCビデオの修復におけるさらなる調査を可能にし、課題に対するより良い洞察を提供します。
UDC-VITは、当社のプロジェクトサイトで入手できます。

要約(オリジナル)

Under Display Camera (UDC) is an advanced imaging system that places a digital camera lens underneath a display panel, effectively concealing the camera. However, the display panel significantly degrades captured images or videos, introducing low transmittance, blur, noise, and flare issues. Tackling such issues is challenging because of the complex degradation of UDCs, including diverse flare patterns. Despite extensive research on UDC images and their restoration models, studies on videos have yet to be significantly explored. While two UDC video datasets exist, they primarily focus on unrealistic or synthetic UDC degradation rather than real-world UDC degradation. In this paper, we propose a real-world UDC video dataset called UDC-VIT. Unlike existing datasets, only UDC-VIT exclusively includes human motions that target facial recognition. We propose a video-capturing system to simultaneously acquire non-degraded and UDC-degraded videos of the same scene. Then, we align a pair of captured videos frame by frame, using discrete Fourier transform (DFT). We compare UDC-VIT with six representative UDC still image datasets and two existing UDC video datasets. Using six deep-learning models, we compare UDC-VIT and an existing synthetic UDC video dataset. The results indicate the ineffectiveness of models trained on earlier synthetic UDC video datasets, as they do not reflect the actual characteristics of UDC-degraded videos. We also demonstrate the importance of effective UDC restoration by evaluating face recognition accuracy concerning PSNR, SSIM, and LPIPS scores. UDC-VIT enables further exploration in the UDC video restoration and offers better insights into the challenge. UDC-VIT is available at our project site.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google