MOSAIC: Masked Optimisation with Selective Attention for Image Reconstruction

要約

圧縮センシング (CS) は、スパース正則化逆問題を解くことにより、サブナイキスト測定から画像を再構成します。
従来の CS ソルバーは、手作りのスパーシファイアを備えた反復オプティマイザを使用しますが、初期のデータ駆動型メソッドは、低次元の測定空間から元の画像空間への逆マッピングを直接学習します。
後者は前者よりも優れていますが、事前定義された測定ドメインに制限されます。
より最近のディープ アンローリング法では、従来の近接勾配法とデータ駆動型のアプローチを組み合わせて、画像近似を繰り返し改良しています。
より高い精度を達成するために、サンプリング行列と測定ベクトルの選択の両方を適応的に学習することも提案されています。
現在の傾向に反して、この研究では、圧縮された測定値のランダムなセットから画像領域への一般的な逆マッピングが特定の測定基準に対して存在し、学習可能であると仮説を立てます。
このようなモデルは単発的で非制限的であり、サンプリング プロセスをパラメータ化しません。
この目的を達成するために、我々は、固定基準を使用してサンプリングされた測定値の任意のランダムな選択が与えられた画像を再構成するための新しい圧縮センシングフレームワークであるMOSAICを提案します。
MOSAIC は、測定値全体にわたる情報の不均一な分布を動機として、アンロールされたディープ ネットワークを使用する必要性を排除しながら、エンコードされた一連の測定値にアテンション メカニズムを効率的に適用するための埋め込み技術を組み込んでいます。
一連の実験により、標準データセットでの再構成精度のメトリクスの最先端を達成することにより、提案したアーキテクチャが既存の CS 再構成方法の有望な代替手段として検証されています。

要約(オリジナル)

Compressive sensing (CS) reconstructs images from sub-Nyquist measurements by solving a sparsity-regularized inverse problem. Traditional CS solvers use iterative optimizers with hand crafted sparsifiers, while early data-driven methods directly learn an inverse mapping from the low-dimensional measurement space to the original image space. The latter outperforms the former, but is restrictive to a pre-defined measurement domain. More recent, deep unrolling methods combine traditional proximal gradient methods and data-driven approaches to iteratively refine an image approximation. To achieve higher accuracy, it has also been suggested to learn both the sampling matrix, and the choice of measurement vectors adaptively. Contrary to the current trend, in this work we hypothesize that a general inverse mapping from a random set of compressed measurements to the image domain exists for a given measurement basis, and can be learned. Such a model is single-shot, non-restrictive and does not parametrize the sampling process. To this end, we propose MOSAIC, a novel compressive sensing framework to reconstruct images given any random selection of measurements, sampled using a fixed basis. Motivated by the uneven distribution of information across measurements, MOSAIC incorporates an embedding technique to efficiently apply attention mechanisms on an encoded sequence of measurements, while dispensing the need to use unrolled deep networks. A range of experiments validate our proposed architecture as a promising alternative for existing CS reconstruction methods, by achieving the state-of-the-art for metrics of reconstruction accuracy on standard datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google