Annular Computational Imaging: Capture Clear Panoramic Images through Simple Lens

要約

少数のレンズで構成されるパノラマ環状レンズ（PAL）は、サイズが小さく、視野（FoV）が大きいため、モバイルおよびウェアラブルデバイスのパノラマ周囲センシングタスクに大きな可能性を秘めています。
ただし、収差補正用のレンズがないため、少量のPALの画質は光学限界に制限されます。
この論文では、軽量PAL設計の光学的限界を打破するためのAnnular Computational Imaging（ACI）フレームワークを提案します。
学習ベースの画像復元を容易にするために、パノラマ画像用の波ベースのシミュレーションパイプラインを導入し、複数のデータ分布を通じて合成と現実のギャップに取り組みます。
提案されたパイプラインは、設計パラメータを使用して任意のPALに簡単に適合させることができ、緩い許容誤差の設計に適しています。
さらに、パノラマ画像と物理情報に基づく学習の物理的な優先順位を考慮して、物理情報に基づく画像復元ネットワーク（PI2RNet）を設計します。
データセットレベルで、DIVPanoデータセットを作成し、それに関する広範な実験により、提案されたネットワークが、空間的に変化する劣化の下でのパノラマ画像の復元に新しい最先端を設定することを示しています。
さらに、3つの球面レンズのみを備えた単純なPALで提案されたACIを評価すると、高品質のパノラマ画像とコンパクトなデザインの微妙なバランスが明らかになります。
私たちの知る限りでは、PALでComputational Imaging（CI）を最初に調査しました。
コードとデータセットは、https：//github.com/zju-jiangqi/ACI-PI2RNetで公開されます。

要約(オリジナル)

Panoramic Annular Lens (PAL), composed of few lenses, has great potential in panoramic surrounding sensing tasks for mobile and wearable devices because of its tiny size and large Field of View (FoV). However, the image quality of tiny-volume PAL confines to optical limit due to the lack of lenses for aberration correction. In this paper, we propose an Annular Computational Imaging (ACI) framework to break the optical limit of light-weight PAL design. To facilitate learning-based image restoration, we introduce a wave-based simulation pipeline for panoramic imaging and tackle the synthetic-to-real gap through multiple data distributions. The proposed pipeline can be easily adapted to any PAL with design parameters and is suitable for loose-tolerance designs. Furthermore, we design the Physics Informed Image Restoration Network (PI2RNet), considering the physical priors of panoramic imaging and physics-informed learning. At the dataset level, we create the DIVPano dataset and the extensive experiments on it illustrate that our proposed network sets the new state of the art in the panoramic image restoration under spatially-variant degradation. In addition, the evaluation of the proposed ACI on a simple PAL with only 3 spherical lenses reveals the delicate balance between high-quality panoramic imaging and compact design. To the best of our knowledge, we are the first to explore Computational Imaging (CI) in PAL. Code and datasets will be made publicly available at https://github.com/zju-jiangqi/ACI-PI2RNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google