WPPNets and WPPFlows: The Power of Wasserstein Patch Priors for Superresolution

要約

画像全体の代わりに画像パッチを利用することは，画像処理における様々な問題に取り組むための強力なアプローチであることが証明されている．近年，未知画像と参照画像のパッチ分布の比較に基づくWasserstein patch priors (WPP) が，超解像の変分定式化におけるデータ駆動型正則化器として利用されることに成功した．しかし、この方法では、各入力画像に対して、計算コストのかかる非凸の最小化問題の解を求める必要がある。本論文では、WPP損失関数に基づき、教師なし方式で2種類のニューラルネットワークを学習することを提案する。まず、畳み込みニューラルネットワーク(CNN)をどのように組み込めるかを示す。一旦、WPPNetと呼ばれるネットワークを学習すると、任意の入力画像に対して非常に効率的に適用することができる。第二に、不確実性定量化のためのツールを提供するために、条件付き正規化フローを組み込む。数値的な例では、前進演算子が近似的にしか知られていない場合でも、様々な画像クラスにおける超解像のためにWPPNetsが非常に良い性能を示すことを実証している。

要約(オリジナル)

Exploiting image patches instead of whole images have proved to be a powerful approach to tackle various problems in image processing. Recently, Wasserstein patch priors (WPP), which are based on the comparison of the patch distributions of the unknown image and a reference image, were successfully used as data-driven regularizers in the variational formulation of superresolution. However, for each input image, this approach requires the solution of a non-convex minimization problem which is computationally costly. In this paper, we propose to learn two kind of neural networks in an unsupervised way based on WPP loss functions. First, we show how convolutional neural networks (CNNs) can be incorporated. Once the network, called WPPNet, is learned, it can be very efficiently applied to any input image. Second, we incorporate conditional normalizing flows to provide a tool for uncertainty quantification. Numerical examples demonstrate the very good performance of WPPNets for superresolution in various image classes even if the forward operator is known only approximately.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL