Conditional Injective Flows for Bayesian Imaging

要約

タイトル：Bayesian Imagingのための条件付き単射フロー

要約：

– 多くの計算画像のディープラーニングモデルは、単一の再構成された画像を回帰します。
– しかし、ill-posedness、非線形性、モデルの不一致、ノイズなどが組み合わさって、そのような点推定は誤解を招いたり、不十分になったりします。
– Bayesianアプローチは、画像と（ノイズのある）測定を共同分散ランダムベクトルとしてモデル化し、未知の確率分布を近似することを目的としています。
– 条件付け正規化フローに基づく最近の変分推論法は、従来のMCMC法に有望な代替手段ですが、中程度から高解像度画像に対しては過剰なメモリと計算量の要求があり、ハードな非線形問題に対しては期待に応えない性能があります。
– 本研究では、画像問題に特化した条件付き単射フローであるC-Trumpetsを提案し、これらの課題を大幅に軽減します。
– 単射性はメモリフットプリントとトレーニング時間を減らし、固定体積変更層やスキップコネクションrevnet層などの建築的な革新と低次元の潜在空間は、C-Trumpetsが制限ビューCTや非線形逆散乱などのさまざまな画像および画像復元タスクで従来の条件付きフローモデルよりも低いコンピューティングおよびメモリ予算で優れた性能を発揮します。
– C-Trumpetsは、MMSEやMAPのような点見積もりの高速近似と、物理的に意味のある不確実性の量子化を可能にします。

要約(オリジナル)

Most deep learning models for computational imaging regress a single reconstructed image. In practice, however, ill-posedness, nonlinearity, model mismatch, and noise often conspire to make such point estimates misleading or insufficient. The Bayesian approach models images and (noisy) measurements as jointly distributed random vectors and aims to approximate the posterior distribution of unknowns. Recent variational inference methods based on conditional normalizing flows are a promising alternative to traditional MCMC methods, but they come with drawbacks: excessive memory and compute demands for moderate to high resolution images and underwhelming performance on hard nonlinear problems. In this work, we propose C-Trumpets — conditional injective flows specifically designed for imaging problems, which greatly diminish these challenges. Injectivity reduces memory footprint and training time while low-dimensional latent space together with architectural innovations like fixed-volume-change layers and skip-connection revnet layers, C-Trumpets outperform regular conditional flow models on a variety of imaging and image restoration tasks, including limited-view CT and nonlinear inverse scattering, with a lower compute and memory budget. C-Trumpets enable fast approximation of point estimates like MMSE or MAP as well as physically-meaningful uncertainty quantification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI