Test-time Adaptation for Real Image Denoising via Meta-transfer Learning

要約

近年、実画像のノイズ除去タスクに関する大量の研究が行われている。しかし、その研究は、より良いネットワークアーキテクチャを構築することによって実画像ノイズ除去性能を向上させることに重点を置いている。我々は、マルチタスクネットワークにおいてテスト時間適応を可能にする優れた学習戦略によって、実画像ノイズ除去の性能を向上させることを提案し、異なる方向を模索している。学習戦略は2段階あり、第1段階では、より良いメタ初期化を得るためにメタ補助学習を用いてネットワークを事前学習する。一方、2段階目の学習では、メタ学習を用いてネットワークの微調整を行い（メタ転送学習）、実際のノイズの多い画像に対するテスト時適応を可能にする。また、より良い学習戦略を利用するために、自己教師付きマスク再構成損失を用いたネットワークアーキテクチャを提案する。実際のノイズの多いデータセットを用いた実験により、提案手法の貢献度を示し、提案手法が他のSOTA手法を凌駕することを示す。

要約(オリジナル)

In recent years, a ton of research has been conducted on real image denoising tasks. However, the efforts are more focused on improving real image denoising through creating a better network architecture. We explore a different direction where we propose to improve real image denoising performance through a better learning strategy that can enable test-time adaptation on the multi-task network. The learning strategy is two stages where the first stage pre-train the network using meta-auxiliary learning to get better meta-initialization. Meanwhile, we use meta-learning for fine-tuning (meta-transfer learning) the network as the second stage of our training to enable test-time adaptation on real noisy images. To exploit a better learning strategy, we also propose a network architecture with self-supervised masked reconstruction loss. Experiments on a real noisy dataset show the contribution of the proposed method and show that the proposed method can outperform other SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL