FPANet: Frequency-based Video Demoireing using Frame-level Post Alignment

要約

通常のデジタルカメラでデジタル表示機器の画面を撮影すると、重なり合う格子模様同士が干渉してモアレ模様が発生し、画質が劣化する。
このようなモアレ パターンの除去は、さまざまなサイズの複雑なパターンと色の歪みのために困難です。
既存のアプローチは、主に空間ドメインでのフィルタリングに焦点を当てており、大規模なモアレ パターンの除去に失敗しています。
この論文では、周波数ドメインと空間ドメインの両方でフィルターを学習し、さまざまなサイズのモアレ パターンを除去することで復元品質を向上させる、FPANet と呼ばれる新しいモデルを提案します。
さらに強化するために、私たちのモデルは複数の連続したフレームを取り、フレーム不変のコンテンツ機能を抽出することを学習し、より良い品質の時間的に一貫した画像を出力します。
公開されている大規模なデータセットを使用して、提案された方法の有効性を実証し、ESDNet、VDmoire、MBCNN、WDNet、UNet、および DMCNN を含む最先端のアプローチよりも画像に関して優れていることを観察します。
PSNR、SSIM、LPIPS、FVD、FSIM などのビデオ品質指標。

要約(オリジナル)

Interference between overlapping gird patterns creates moire patterns, degrading the visual quality of an image that captures a screen of a digital display device by an ordinary digital camera. Removing such moire patterns is challenging due to their complex patterns of diverse sizes and color distortions. Existing approaches mainly focus on filtering out in the spatial domain, failing to remove a large-scale moire pattern. In this paper, we propose a novel model called FPANet that learns filters in both frequency and spatial domains, improving the restoration quality by removing various sizes of moire patterns. To further enhance, our model takes multiple consecutive frames, learning to extract frame-invariant content features and outputting better quality temporally consistent images. We demonstrate the effectiveness of our proposed method with a publicly available large-scale dataset, observing that ours outperforms the state-of-the-art approaches, including ESDNet, VDmoire, MBCNN, WDNet, UNet, and DMCNN, in terms of the image and video quality metrics, such as PSNR, SSIM, LPIPS, FVD, and FSIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google