Masked Pre-trained Model Enables Universal Zero-shot Denoiser

要約

この研究では、マスキング戦略を使用して膨大な一般画像でトレーニングされたモデルが自然画像に関する分布知識を自然に埋め込まれており、したがって強力な画像ノイズ除去の潜在的な可能性を自発的に獲得していることを観察しました。
この観察に基づいて、我々は新しいゼロショットノイズ除去パラダイム、すなわちマスクされた事前学習と反復フィル（MPI）を提案します。
MPI は、マスキングを使用してモデルを事前トレーニングし、目に見えないノイズ劣化を伴う単一画像のノイズ除去のためにモデルを微調整します。
具体的には、提案された MPI は 2 つの重要な手順で構成されています。 1) マスクされた事前トレーニングには、一般化可能な表現を収集するためにランダム マスクを使用して複数の自然画像上でモデルをトレーニングすることが含まれ、さまざまなノイズ劣化や異なる画像タイプでの実用的なアプリケーションが可能になります。
2) 反復充填は、ノイズ除去のための事前トレーニングされた知識を効率的に融合するために考案されています。
事前トレーニングと似ていますが、事前トレーニングとは異なります。ランダム マスキングはギャップを埋めるために保持されますが、効率を高めるためにマスクでカバーされる予測部分のみが組み立てられるため、限られた反復回数内で高品質のノイズ除去が可能になります。
さまざまなノイズの多いシナリオにわたる包括的な実験により、提案された MPI が以前のアプローチに比べて顕著に進歩し、推論時間が大幅に短縮されたことが強調されています。
コードは https://github.com/krennic999/MPI.git で入手できます。

要約(オリジナル)

In this work, we observe that the model, which is trained on vast general images using masking strategy, has been naturally embedded with the distribution knowledge regarding natural images, and thus spontaneously attains the underlying potential for strong image denoising. Based on this observation, we propose a novel zero-shot denoising paradigm, i.e., Masked Pre-train then Iterative fill (MPI). MPI pre-trains a model with masking and fine-tunes it for denoising of a single image with unseen noise degradation. Concretely, the proposed MPI comprises two key procedures: 1) Masked Pre-training involves training a model on multiple natural images with random masks to gather generalizable representations, allowing for practical applications in varying noise degradation and even in distinct image types. 2) Iterative filling is devised to efficiently fuse pre-trained knowledge for denoising. Similar to but distinct from pre-training, random masking is retained to bridge the gap, but only the predicted parts covered by masks are assembled for efficiency, which enables high-quality denoising within a limited number of iterations. Comprehensive experiments across various noisy scenarios underscore the notable advances of proposed MPI over previous approaches with a marked reduction in inference time. Code is available at https://github.com/krennic999/MPI.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google