Deep End-to-End Posterior ENergy (DEEPEN) for image recovery

要約

現在のエンドツーエンド（E2E）およびプラグアンドプレイ（PNP）画像再構成アルゴリズムは、事後（MAP）推定値を概算しますが、拡散モデルのような後部分布からサンプリングを提供することはできません。
対照的に、拡散モデルがE2Eファッションで訓練されることは困難です。
このペーパーでは、地図の推定とサンプリングを可能にする深いエンドツーエンドの後部エネルギー（深い）フレームワークを紹介します。
E2Eファッションでの最尤最適化を使用して、データの一貫性エラーと負の対数分布の合計である後部のパラメーターを学習します。
提案されたアプローチでは、アルゴリズムの展開を必要とせず、したがって、現在のE2Eメソッドよりも計算およびメモリのフットプリントが小さくなりますが、現在のPNPメソッドで通常必要な収縮制約は必要ありません。
我々の結果は、Deepenがマップ設定の現在のE2EおよびPNPモデルよりも改善されたパフォーマンスを提供することを示していますが、拡散モデルと比較してより速いサンプリングも提供します。
さらに、学習したエネルギーベースのモデルは、画像取得設定の変化により堅牢であることが観察されます。

要約(オリジナル)

Current end-to-end (E2E) and plug-and-play (PnP) image reconstruction algorithms approximate the maximum a posteriori (MAP) estimate but cannot offer sampling from the posterior distribution, like diffusion models. By contrast, it is challenging for diffusion models to be trained in an E2E fashion. This paper introduces a Deep End-to-End Posterior ENergy (DEEPEN) framework, which enables MAP estimation as well as sampling. We learn the parameters of the posterior, which is the sum of the data consistency error and the negative log-prior distribution, using maximum likelihood optimization in an E2E fashion. The proposed approach does not require algorithm unrolling, and hence has a smaller computational and memory footprint than current E2E methods, while it does not require contraction constraints typically needed by current PnP methods. Our results demonstrate that DEEPEN offers improved performance than current E2E and PnP models in the MAP setting, while it also offers faster sampling compared to diffusion models. In addition, the learned energy-based model is observed to be more robust to changes in image acquisition settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google