Minimalist and High-Quality Panoramic Imaging with PSF-aware Transformers

要約

360 度の視野 (FoV) を持つ高品質のパノラマ画像は、現代のパノラマ コンピュータ ビジョン タスクに不可欠です。
しかし、従来のイメージング システムには、洗練されたレンズ設計と重い光学コンポーネントが付属しています。
このため、薄型でポータブルな最小限のイメージング システムが求められる多くのモバイルおよびウェアラブル アプリケーションでの使用は不適格となります。
この論文では、ミニマリストで高品質のパノラマ イメージングに取り組むパノラマ コンピューテーション イメージング エンジン (PCIE) を提案します。
3 つ未満の球面レンズを使用するミニマリスト パノラマ イメージング プロトタイプ (MPIP) は、パノラマ環状レンズ (PAL) の設計に基づいて構築されますが、収差と小さい像面サイズにより低品質のイメージング結果が得られます。
我々は、MPIP の画質問題を解決するために、収差補正 (AC) と超解像収差補正 (SR&AC) という 2 つのパイプラインを、それぞれ小さいピクセルサイズのイメージセンサーと大きいピクセルサイズのイメージセンサーで提案します。
2 つのパイプラインにユニバーサル ネットワークを提供するために、光学システムの点像分布関数 (PSF) からの情報を活用し、PSF を認識した収差画像回復変換器 (PART) を設計します。
抽出は PSF 対応のメカニズムを通じて行われます。
私たちはシミュレーションからの合成画像ペアで PART をトレーニングし、低レベル視覚用の実世界の高品質 PAL 画像のギャップを埋めるために PALHQ データセットを提案します。
合成ベンチマークと現実世界のベンチマークに関する包括的なさまざまな実験により、PCIE の優れたイメージング結果とプラグ アンド プレイの PSF 対応メカニズムの有効性が実証されています。
さらに、ミニマルで高品質のパノラマ イメージングのためのヒューリスティックな実験結果を提供します。
データセットとコードは https://github.com/zju-jiangqi/PCIE-PART で入手できます。

要約(オリジナル)

High-quality panoramic images with a Field of View (FoV) of 360-degree are essential for contemporary panoramic computer vision tasks. However, conventional imaging systems come with sophisticated lens designs and heavy optical components. This disqualifies their usage in many mobile and wearable applications where thin and portable, minimalist imaging systems are desired. In this paper, we propose a Panoramic Computational Imaging Engine (PCIE) to address minimalist and high-quality panoramic imaging. With less than three spherical lenses, a Minimalist Panoramic Imaging Prototype (MPIP) is constructed based on the design of the Panoramic Annular Lens (PAL), but with low-quality imaging results due to aberrations and small image plane size. We propose two pipelines, i.e. Aberration Correction (AC) and Super-Resolution and Aberration Correction (SR&AC), to solve the image quality problems of MPIP, with imaging sensors of small and large pixel size, respectively. To provide a universal network for the two pipelines, we leverage the information from the Point Spread Function (PSF) of the optical system and design a PSF-aware Aberration-image Recovery Transformer (PART), in which the self-attention calculation and feature extraction are guided via PSF-aware mechanisms. We train PART on synthetic image pairs from simulation and put forward the PALHQ dataset to fill the gap of real-world high-quality PAL images for low-level vision. A comprehensive variety of experiments on synthetic and real-world benchmarks demonstrates the impressive imaging results of PCIE and the effectiveness of plug-and-play PSF-aware mechanisms. We further deliver heuristic experimental findings for minimalist and high-quality panoramic imaging. Our dataset and code will be available at https://github.com/zju-jiangqi/PCIE-PART.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google