Direction-aware Video Demoireing with Temporal-guided Bilateral Learning

要約

モアレ パターンは、画面上で画像やビデオをキャプチャするときに発生し、キャプチャされた画像やビデオの品質を大幅に低下させます。
最近の進歩にもかかわらず、既存のビデオ デモアレ手法はモアレ パターンの物理的特性と形成プロセスを無視しており、ビデオ復元の有効性が大幅に制限されています。
この論文では、ビデオデモアレイングのための方向認識型で時間ガイド型の双方向学習ネットワークである統合フレームワーク DTNet について説明します。
DTNet には、モアレ パターンの除去、位置合わせ、色補正、細部の調整のプロセスが効果的に組み込まれています。
私たちが提案する DTNet は、フレーム レベルの方向認識デモアレおよびアライメント (FDDA) とトーンおよびディテール リファインメント (TDR) という 2 つの主要なステージで構成されます。
FDDA では、複数の方向性 DCT モードを使用して周波数領域でモアレ パターン除去プロセスを実行し、顕著なモアレ エッジを効果的に検出します。
次に、隣接する情報の利用を容易にするために、粗いおよび細かい位置合わせが、削除されたフィーチャに適用されます。
TDR では、FDDA で復元された周波数情報を保存しながら、モアレ パターンによって引き起こされる色と詳細の劣化を軽減する、時間ガイド型双方向学習パイプラインを提案します。
FDDA からの調整された時間的特徴に基づいて、究極のクリーンなフレームを回復するためのアフィン変換が TDR で学習されます。
広範な実験により、当社のビデオ デモアレ方法は、PSNR において最先端のアプローチよりも 2.3 dB 優れており、優れた視覚体験も提供できることが実証されています。

要約(オリジナル)

Moire patterns occur when capturing images or videos on screens, severely degrading the quality of the captured images or videos. Despite the recent progresses, existing video demoireing methods neglect the physical characteristics and formation process of moire patterns, significantly limiting the effectiveness of video recovery. This paper presents a unified framework, DTNet, a direction-aware and temporal-guided bilateral learning network for video demoireing. DTNet effectively incorporates the process of moire pattern removal, alignment, color correction, and detail refinement. Our proposed DTNet comprises two primary stages: Frame-level Direction-aware Demoireing and Alignment (FDDA) and Tone and Detail Refinement (TDR). In FDDA, we employ multiple directional DCT modes to perform the moire pattern removal process in the frequency domain, effectively detecting the prominent moire edges. Then, the coarse and fine-grained alignment is applied on the demoired features for facilitating the utilization of neighboring information. In TDR, we propose a temporal-guided bilateral learning pipeline to mitigate the degradation of color and details caused by the moire patterns while preserving the restored frequency information in FDDA. Guided by the aligned temporal features from FDDA, the affine transformations for the recovery of the ultimate clean frames are learned in TDR. Extensive experiments demonstrate that our video demoireing method outperforms state-of-the-art approaches by 2.3 dB in PSNR, and also delivers a superior visual experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google