Probabilistic-based Feature Embedding of 4-D Light Fields for Compressive Imaging and Denoising

要約

4-D ライト フィールド (LF) の高次元の性質は、効率的かつ効果的な特徴の埋め込みを達成する上で大きな課題を引き起こし、下流のタスクのパフォーマンスに重大な影響を与えます。
この重要な問題に取り組むために、経験的に設計されたアーキテクチャを使用した既存の方法とは対照的に、確率ベースの特徴埋め込み (PFE) を提案します。これは、完全にキャプチャするために確率空間でさまざまな低次元の畳み込みパターンを組み立てることによって特徴埋め込みアーキテクチャを学習します。
空間角度情報。
提案された PFE に基づいて、コード化開口カメラの固有の線形イメージング モデルを活用して、コード化された測定値からサイクル一貫性のある 4 次元 LF 再構成ネットワークを構築します。
さらに、4-D LF ノイズ除去のための反復最適化フレームワークに PFE を組み込みます。
私たちの広範な実験により、最先端の方法と比較した場合、現実世界と合成 4-D LF 画像の両方において量的および定性的に私たちの方法が大幅に優れていることが実証されました。
ソース コードは https://github.com/lyuxianqiang/LFCA-CR-NET で公開されます。

要約(オリジナル)

The high-dimensional nature of the 4-D light field (LF) poses great challenges in achieving efficient and effective feature embedding, that severely impacts the performance of downstream tasks. To tackle this crucial issue, in contrast to existing methods with empirically-designed architectures, we propose a probabilistic-based feature embedding (PFE), which learns a feature embedding architecture by assembling various low-dimensional convolution patterns in a probability space for fully capturing spatial-angular information. Building upon the proposed PFE, we then leverage the intrinsic linear imaging model of the coded aperture camera to construct a cycle-consistent 4-D LF reconstruction network from coded measurements. Moreover, we incorporate PFE into an iterative optimization framework for 4-D LF denoising. Our extensive experiments demonstrate the significant superiority of our methods on both real-world and synthetic 4-D LF images, both quantitatively and qualitatively, when compared with state-of-the-art methods. The source code will be publicly available at https://github.com/lyuxianqiang/LFCA-CR-NET.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google