One-Shot Image Restoration

要約

画像復元、つまり画像処理における逆問題は、長い間広く研究されてきたテーマです。
近年、教師あり学習アプローチが、この課題に取り組む一般的な戦略となっています。
残念ながら、ほとんどの教師あり学習ベースの手法は、計算リソースとトレーニング データ (サンプルの複雑さ) の点で非常に要求が高くなります。
さらに、トレーニングされたモデルは、さまざまな取得システム、信号サンプリング レート、解像度、コントラストなどの領域の変化に敏感です。
この研究では、教師あり学習モデルは 1 つの画像または画像の一部から学習するだけでうまく一般化できるのか?という基本的な質問に答えようとします。
そうである場合、許容可能な一般化を達成するために必要なパッチの最小量はどれくらいですか?
この目的を達成するために、トレーニングに単一の画像入出力ペアを必要とする効率的なパッチベースの学習フレームワークに焦点を当てます。
実験結果は、教師付き画像のぼけ除去と超解像度に対する提案されたアプローチの適用性、堅牢性、および計算効率を示しています。
私たちの結果は、学習モデルのサンプル効率、一般化、時間計算量の大幅な改善を示しており、将来のリアルタイム アプリケーションに活用したり、他の信号やモダリティに適用したりできることが期待されます。

要約(オリジナル)

Image restoration, or inverse problems in image processing, has long been an extensively studied topic. In recent years supervised learning approaches have become a popular strategy attempting to tackle this task. Unfortunately, most supervised learning-based methods are highly demanding in terms of computational resources and training data (sample complexity). In addition, trained models are sensitive to domain changes, such as varying acquisition systems, signal sampling rates, resolution and contrast. In this work, we try to answer a fundamental question: Can supervised learning models generalize well solely by learning from one image or even part of an image? If so, then what is the minimal amount of patches required to achieve acceptable generalization? To this end, we focus on an efficient patch-based learning framework that requires a single image input-output pair for training. Experimental results demonstrate the applicability, robustness and computational efficiency of the proposed approach for supervised image deblurring and super-resolution. Our results showcase significant improvement of learning models’ sample efficiency, generalization and time complexity, that can hopefully be leveraged for future real-time applications, and applied to other signals and modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google