Generative Plug and Play: Posterior Sampling for Inverse Problems

要約

過去 10 年にわたり、プラグ アンド プレイ (PnP) は、前方モデルと前方モデルで構成されるモジュール式フレームワークを使用して画像を再構成する一般的な方法になりました。
PnP の大きな利点は、画像デノイザーを事前モデルとして使用できる一方で、より従来の物理ベースのアプローチを使用して順モデルを実装できることです。
ただし、PnP には 1 つの決定論的な画像しか再構築できないという制限があります。
この論文では、事後分布からサンプリングするための PnP の一般化である生成プラグ アンド プレイ (GPnP) を紹介します。
PnP と同様に、GPnP には、物理​​ベースのフォワード モデルと画像ノイズ除去事前モデルを使用するモジュール式フレームワークがあります。
ただし、GPnP では、これらのモデルが拡張されて、関連する分布からサンプリングする近接ジェネレーターになります。
GPnP は、これらの近位ジェネレーターを交互に適用して、事後部からサンプルを生成します。
有名な BM3D デノイザーを使用した実験シミュレーションを紹介します。
我々の結果は、GPnP 法が堅牢で実装が容易で、スパース補間と断層撮影再構成のために事後面から直観的に合理的なサンプルを生成することを示しています。
このペーパーに付属するコードは https://github.com/gbuzzard/generative-pnp-allerton で入手できます。

要約(オリジナル)

Over the past decade, Plug-and-Play (PnP) has become a popular method for reconstructing images using a modular framework consisting of a forward and prior model. The great strength of PnP is that an image denoiser can be used as a prior model while the forward model can be implemented using more traditional physics-based approaches. However, a limitation of PnP is that it reconstructs only a single deterministic image. In this paper, we introduce Generative Plug-and-Play (GPnP), a generalization of PnP to sample from the posterior distribution. As with PnP, GPnP has a modular framework using a physics-based forward model and an image denoising prior model. However, in GPnP these models are extended to become proximal generators, which sample from associated distributions. GPnP applies these proximal generators in alternation to produce samples from the posterior. We present experimental simulations using the well-known BM3D denoiser. Our results demonstrate that the GPnP method is robust, easy to implement, and produces intuitively reasonable samples from the posterior for sparse interpolation and tomographic reconstruction. Code to accompany this paper is available at https://github.com/gbuzzard/generative-pnp-allerton .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google