PtychoDV: Vision Transformer-Based Deep Unrolling Network for Ptychographic Image Reconstruction

要約

タイコグラフィーは、移動する局所プローブによってコヒーレントに照明されたサンプルの複数の重なり合うスナップショットをキャプチャするイメージング技術です。
タイコグラフィック データからの画像復元は、一般に、測定された回折パターンから導出される非線形位相場問題を解決する反復アルゴリズムによって実現されます。
ただし、これらのアプローチは計算コストが高くなります。
この論文では、効率的で高品質のタイコグラフィック画像再構成のために設計された新しいディープモデルベースのネットワークである PtychoDV を紹介します。
PtychoDV は、相互相関を考慮して、生の測定値のセットから初期画像を生成するビジョン トランスフォーマーで構成されています。
これに続いて、学習可能な畳み込み事前確率とタイコグラフィ測定モデルを使用して初期画像を洗練するディープ アンローリング ネットワークが続きます。
シミュレートされたデータの実験結果は、PtychoDV がこの問題に対して既存の深層学習手法を上回る性能を発揮し、競争力のあるパフォーマンスを維持しながら反復手法と比較して計算コストを大幅に削減できることを示しています。

要約(オリジナル)

Ptychography is an imaging technique that captures multiple overlapping snapshots of a sample, illuminated coherently by a moving localized probe. The image recovery from ptychographic data is generally achieved via an iterative algorithm that solves a nonlinear phase-field problem derived from measured diffraction patterns. However, these approaches have high computational cost. In this paper, we introduce PtychoDV, a novel deep model-based network designed for efficient, high-quality ptychographic image reconstruction. PtychoDV comprises a vision transformer that generates an initial image from the set of raw measurements, taking into consideration their mutual correlations. This is followed by a deep unrolling network that refines the initial image using learnable convolutional priors and the ptychography measurement model. Experimental results on simulated data demonstrate that PtychoDV is capable of outperforming existing deep learning methods for this problem, and significantly reduces computational cost compared to iterative methodologies, while maintaining competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google