FourierNets enable the design of highly non-local optical encoders for computational imaging

要約

光学システムの微分可能なシミュレーションを深層学習ベースの再構成ネットワークと組み合わせて、光学エンコーダーと深層デコーダーの両方のエンドツーエンド（E2E）最適化による高性能計算イメージングを可能にします。
これにより、ローカル光学エンコーダーの最適化により、3D局在顕微鏡法、深度推定、レンズレス写真などのイメージングアプリケーションが可能になりました。
3Dボリュームを単一の2D画像に圧縮する3Dスナップショット顕微鏡などのより困難な計算イメージングアプリケーションには、非常に非局所的な光学エンコーダが必要です。
既存のディープネットワークデコーダーには、そのような高度に非局所的な光学式エンコーダーの最適化を妨げる局所性バイアスがあることを示します。
これは、グローバルカーネルフーリエ畳み込みニューラルネットワーク（FourierNets）を使用した浅いニューラルネットワークアーキテクチャに基づくデコーダーで対処します。
高度に非ローカルなDiffuserCam光学式エンコーダーによってキャプチャされた写真を再構築する際に、FourierNetsが既存のディープネットワークベースのデコーダーを上回っていることを示します。
さらに、FourierNetsが3Dスナップショット顕微鏡用の高度に非局所的な光学エンコーダーのE2E最適化を可能にすることを示します。
フーリエネットを大規模なマルチGPU微分可能光学シミュレーションと組み合わせることにより、従来の最先端技術より170 $ \times$から7372$\ times $大きい非ローカル光学エンコーダーを最適化し、ROIの可能性を実証することができます。
-プログラム可能な顕微鏡によるタイプ固有の光学エンコーディング。

要約(オリジナル)

Differentiable simulations of optical systems can be combined with deep learning-based reconstruction networks to enable high performance computational imaging via end-to-end (E2E) optimization of both the optical encoder and the deep decoder. This has enabled imaging applications such as 3D localization microscopy, depth estimation, and lensless photography via the optimization of local optical encoders. More challenging computational imaging applications, such as 3D snapshot microscopy which compresses 3D volumes into single 2D images, require a highly non-local optical encoder. We show that existing deep network decoders have a locality bias which prevents the optimization of such highly non-local optical encoders. We address this with a decoder based on a shallow neural network architecture using global kernel Fourier convolutional neural networks (FourierNets). We show that FourierNets surpass existing deep network based decoders at reconstructing photographs captured by the highly non-local DiffuserCam optical encoder. Further, we show that FourierNets enable E2E optimization of highly non-local optical encoders for 3D snapshot microscopy. By combining FourierNets with a large-scale multi-GPU differentiable optical simulation, we are able to optimize non-local optical encoders 170$\times$ to 7372$\times$ larger than prior state of the art, and demonstrate the potential for ROI-type specific optical encoding with a programmable microscope.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google