Deep Optical Coding Design in Computational Imaging

要約

計算光学イメージング (COI) システムは、セットアップで光学コーディング要素 (CE) を活用して、単一または複数のスナップショットで高次元シーンをエンコードし、計算アルゴリズムを使用してデコードします。
COI システムのパフォーマンスは、その主要コンポーネントの設計 (CE パターンと、特定のタスクを実行するために使用される計算方法) に大きく依存します。
従来のアプローチは、CE の分布を設定するために、ランダム パターンまたは分析デザインに依存しています。
ただし、ディープ ニューラル ネットワーク (DNN) の利用可能なデータおよびアルゴリズム機能により、光学エンコーダーと計算デコーダーを一緒に検討する CE データ駆動型設計に新しい地平が開かれました。
具体的には、光の物理学ベースの伝播と CE との相互作用を考慮した完全に微分可能な画像形成モデルを通じて COI 測定をモデル化することにより、CE と計算デコーダを定義するパラメータをエンドツーエンドで最適化できます。
(E2E) 方式。
さらに、同じフレームワークで CE のみを最適化することにより、推論タスクを純粋な光学から実行できます。
この作業では、CE データ駆動型設計の最近の進歩を調査し、さまざまな光学要素をパラメーター化して E2E フレームワークに含める方法に関するガイドラインを提供します。
E2E フレームワークは、損失関数と DNN を変更することでさまざまな推論アプリケーションを処理できるため、スペクトル イメージング再構成などの低レベルのタスクや、最適なタスクベースの光学アーキテクチャを使用して強化されたプライバシー保護を伴う姿勢推定などの高レベルのタスクを提示します。
.
最後に、全光学 DNN を使用して光速で実行される分類および 3D オブジェクト認識アプリケーションについて説明します。

要約(オリジナル)

Computational optical imaging (COI) systems leverage optical coding elements (CE) in their setups to encode a high-dimensional scene in a single or multiple snapshots and decode it by using computational algorithms. The performance of COI systems highly depends on the design of its main components: the CE pattern and the computational method used to perform a given task. Conventional approaches rely on random patterns or analytical designs to set the distribution of the CE. However, the available data and algorithm capabilities of deep neural networks (DNNs) have opened a new horizon in CE data-driven designs that jointly consider the optical encoder and computational decoder. Specifically, by modeling the COI measurements through a fully differentiable image formation model that considers the physics-based propagation of light and its interaction with the CEs, the parameters that define the CE and the computational decoder can be optimized in an end-to-end (E2E) manner. Moreover, by optimizing just CEs in the same framework, inference tasks can be performed from pure optics. This work surveys the recent advances on CE data-driven design and provides guidelines on how to parametrize different optical elements to include them in the E2E framework. Since the E2E framework can handle different inference applications by changing the loss function and the DNN, we present low-level tasks such as spectral imaging reconstruction or high-level tasks such as pose estimation with privacy preserving enhanced by using optimal task-based optical architectures. Finally, we illustrate classification and 3D object recognition applications performed at the speed of the light using all-optics DNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google