Self-Supervised Learning for Image Super-Resolution and Deblurring

要約

自己教師あり手法は、さまざまなイメージング逆問題において教師あり手法とほぼ同じくらい効果的であることが最近証明されており、グラウンド トゥルース データの取得が困難または高価である科学および医療イメージング用途における学習ベースの手法への道が開かれています。
これは、磁気共鳴画像法やコンピュータ断層撮影法に当てはまります。
これらの方法は、不完全な測定データのみから学習するために、画像分布の平行移動および/または回転に対する不変性に大きく依存しています。
しかし、既存のアプローチでは、ほとんどの画像システムで重要な役割を果たす画像の超解像とブレ除去の問題において、競争力のあるパフォーマンスを得ることができません。
この研究では、平行移動と回転に対する不変性は、低周波情報のみを含む測定から学習するには不十分であることを示します。
代わりに、多くの画像分布がスケール不変であるという事実を利用し、測定プロセスで失われた高周波情報の回復を可能にする新しい自己教師ありアプローチを提案します。
実際のデータセットでの一連の実験を通じて、提案された方法が他の自己教師ありアプローチよりも優れており、完全教師あり学習と同等のパフォーマンスが得られることを実証します。

要約(オリジナル)

Self-supervised methods have recently proved to be nearly as effective as supervised methods in various imaging inverse problems, paving the way for learning-based methods in scientific and medical imaging applications where ground truth data is hard or expensive to obtain. This is the case in magnetic resonance imaging and computed tomography. These methods critically rely on invariance to translations and/or rotations of the image distribution to learn from incomplete measurement data alone. However, existing approaches fail to obtain competitive performances in the problems of image super-resolution and deblurring, which play a key role in most imaging systems. In this work, we show that invariance to translations and rotations is insufficient to learn from measurements that only contain low-frequency information. Instead, we propose a new self-supervised approach that leverages the fact that many image distributions are approximately scale-invariant, and that enables recovering high-frequency information lost in the measurement process. We demonstrate throughout a series of experiments on real datasets that the proposed method outperforms other self-supervised approaches, and obtains performances on par with fully supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google