CalibFPA: A Focal Plane Array Imaging System based on Online Deep-Learning Calibration

要約

圧縮焦点面アレイ (FPA) は、低解像度 (LR) センサーで複数の多重測定値を取得することにより、コスト効率の高い高解像度 (HR) イメージングを可能にします。
ビジュアルシーンの多重化エンコードは通常、電子制御可能な空間光変調器 (SLM) を介して実行されます。
次に、イメージング システムのフォワード モデルを含む逆問題を解くことによって、エンコードされた測定値から HR 画像が再構成されます。
光学収差などのシステムの非理想性を捉えるための主流のアプローチは、オフライン キャリブレーション スキャンを実行して、イメージング グリッド上の各空間位置での点光源のシステム応答を測定することです。
ただし、構造化 SLM を使用する場合、個々のグリッド位置をエンコードできないため、キャリブレーション スキャンを実行するのは困難です。
この研究では、多重化された LR 測定値のオンラインディープラーニングキャリブレーション (CalibFPA) に基づいた新しい圧縮 FPA システムを提案します。
事前に印刷された固定コード化開口部を移動させるピエゾステージを導入します。
その後、ディープ ニューラル ネットワークを活用して、オフライン キャリブレーション スキャンを必要とせずに、多重測定におけるシステムの非理想性の影響を補正します。
最後に、ディープ プラグ アンド プレイ アルゴリズムを使用して、補正された測定値から画像を再構築します。
シミュレートされたデータセットと実験データセットで、CalibFPA が最先端の圧縮 FPA 手法を上回るパフォーマンスを示します。
また、CalibFPA の設計要素を検証し、計算の複雑さを評価するための分析も報告します。

要約(オリジナル)

Compressive focal plane arrays (FPA) enable cost-effective high-resolution (HR) imaging by acquisition of several multiplexed measurements on a low-resolution (LR) sensor. Multiplexed encoding of the visual scene is typically performed via electronically controllable spatial light modulators (SLM). An HR image is then reconstructed from the encoded measurements by solving an inverse problem that involves the forward model of the imaging system. To capture system non-idealities such as optical aberrations, a mainstream approach is to conduct an offline calibration scan to measure the system response for a point source at each spatial location on the imaging grid. However, it is challenging to run calibration scans when using structured SLMs as they cannot encode individual grid locations. In this study, we propose a novel compressive FPA system based on online deep-learning calibration of multiplexed LR measurements (CalibFPA). We introduce a piezo-stage that locomotes a pre-printed fixed coded aperture. A deep neural network is then leveraged to correct for the influences of system non-idealities in multiplexed measurements without the need for offline calibration scans. Finally, a deep plug-and-play algorithm is used to reconstruct images from corrected measurements. On simulated and experimental datasets, we demonstrate that CalibFPA outperforms state-of-the-art compressive FPA methods. We also report analyses to validate the design elements in CalibFPA and assess computational complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google