Discovering Structure From Corruption for Unsupervised Image Reconstruction

要約

事前画像やグラウンドトゥルースの例にアクセスせずに、不正設定画像逆問題を解決することを検討します。
これらの逆問題における最も重要な課題は、信じられないものも多く含む無限の数の画像が観察された測定値と一致することです。
したがって、画像事前分布は、より望ましい再構成を実現するために考えられる解決策のスペースを削減するために必要です。
ただし、多くのアプリケーションでは、事前にイメージを構築するためのサンプルイメージを入手することが困難であるか、不可能である可能性があります。
したがって、不正確な事前分布が使用されることが多く、必然的に偏った解が得られます。
任意の 1 つの画像の空間構造をエンコードする事前分布を使用して逆問題を解くのではなく、基礎となる画像の集合構造に事前制約を組み込むことによって一連の逆問題を共同で解くことを提案します。
私たちの研究の重要な前提は、私​​たちが再構築しようとしている基礎となる画像が共通の低次元構造を共有しているということです。
このような一連の逆問題は、空間画像を事前に使用せずに、代わりに低次元の潜在空間を使用して共有画像生成器を推論することによって同時に解決できることを示します。
ジェネレーターと潜在的な埋め込みのパラメーターは、証拠下限 (ELBO) のプロキシを最大化することによって見つかります。
特定されると、ジェネレーターと潜在埋め込みを組み合わせて、各逆問題の再構成画像を提供できます。
私たちが提案するフレームワークは一般的な順モデルの破損を処理でき、少数のグラウンドトゥルース画像 ($\leqslant 150$) のみから得られた測定値が画像再構成に十分であることを示します。
ノイズ除去、位相回復、ブラック ホール ビデオ再構成など、さまざまな凸型および非凸型の逆問題に対するアプローチを示します。

要約(オリジナル)

We consider solving ill-posed imaging inverse problems without access to an image prior or ground-truth examples. An overarching challenge in these inverse problems is that an infinite number of images, including many that are implausible, are consistent with the observed measurements. Thus, image priors are required to reduce the space of possible solutions to more desirable reconstructions. However, in many applications it is difficult or potentially impossible to obtain example images to construct an image prior. Hence inaccurate priors are often used, which inevitably result in biased solutions. Rather than solving an inverse problem using priors that encode the spatial structure of any one image, we propose to solve a set of inverse problems jointly by incorporating prior constraints on the collective structure of the underlying images. The key assumption of our work is that the underlying images we aim to reconstruct share common, low-dimensional structure. We show that such a set of inverse problems can be solved simultaneously without the use of a spatial image prior by instead inferring a shared image generator with a low-dimensional latent space. The parameters of the generator and latent embeddings are found by maximizing a proxy for the Evidence Lower Bound (ELBO). Once identified, the generator and latent embeddings can be combined to provide reconstructed images for each inverse problem. The framework we propose can handle general forward model corruptions, and we show that measurements derived from only a small number of ground-truth images ($\leqslant 150$) are sufficient for image reconstruction. We demonstrate our approach on a variety of convex and non-convex inverse problems, including denoising, phase retrieval, and black hole video reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google