Learning Image Demoireing from Unpaired Real Data

要約

このペーパーでは、イメージのデモアリングの問題に焦点を当てます。
ペアになった実データからの学習に依存する既存の大量の研究とは異なり、私たちはペアになっていない実データ、つまり無関係なクリーンな画像に関連付けられたモアレ画像からデモアレ モデルを学習することを試みます。
提案された方法は、Unpaired Demoireing (UnDeM) と呼ばれ、ペアになっていないデータセットから擬似モアレ画像を合成し、デモアレ モデルをトレーニングするためのクリーンな画像とのペアを生成します。
これを実現するために、実際のモアレ画像をパッチに分割し、モアレの複雑さに応じてグループ化します。
我々は、実際のモアレパッチに似た多様なモアレ特徴と、実際のモアレのない画像に似た詳細を備えたモアレ画像を合成するための、新しいモアレ生成フレームワークを導入します。
さらに、デモアレ モデルの学習に悪影響を与える低品質の擬似モアレ画像を除去する適応型ノイズ除去手法を導入します。
私たちは、一般的に使用される FHDMi および UHDM データセットに対して広範な実験を実施しています。
結果は、MBCNN や ESDNet-L などの既存のデモアリング モデルを使用した場合、UnDeM が既存の方法よりも優れたパフォーマンスを発揮することを示しています。
コード: https://github.com/zysxmu/UnDeM

要約(オリジナル)

This paper focuses on addressing the issue of image demoireing. Unlike the large volume of existing studies that rely on learning from paired real data, we attempt to learn a demoireing model from unpaired real data, i.e., moire images associated with irrelevant clean images. The proposed method, referred to as Unpaired Demoireing (UnDeM), synthesizes pseudo moire images from unpaired datasets, generating pairs with clean images for training demoireing models. To achieve this, we divide real moire images into patches and group them in compliance with their moire complexity. We introduce a novel moire generation framework to synthesize moire images with diverse moire features, resembling real moire patches, and details akin to real moire-free images. Additionally, we introduce an adaptive denoise method to eliminate the low-quality pseudo moire images that adversely impact the learning of demoireing models. We conduct extensive experiments on the commonly-used FHDMi and UHDM datasets. Results manifest that our UnDeM performs better than existing methods when using existing demoireing models such as MBCNN and ESDNet-L. Code: https://github.com/zysxmu/UnDeM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google