Arbitrary Volumetric Refocusing of Dense and Sparse Light Fields

要約

4次元光場（LF）は、シーンのテクスチャ情報のみをキャプチャする2次元画像とは対照的に、シーンのテクスチャー情報と幾何学的情報の両方をキャプチャします。
キャプチャ後の再入院は、キャプチャされた幾何学的情報によって有効なLFSのエキサイティングなアプリケーションです。
以前に提案されていたLFの再焦点化方法は、深さ範囲に対応するシーンの単一平面領域または体積領域の再焦点にほとんど制限されており、同じ深さ範囲を持つ焦点と焦点の範囲外領域を同時に生成することはできません。
このホワイトペーパーでは、密集したLFまたはまばらなLFの複数の任意の平面または体積領域を同時に焦点を合わせて、エンドツーエンドのパイプラインを提案します。
典型的なシフトアンドサム法でピクセル依存シフトを使用して、LFを再焦点を合わせます。
ピクセル依存シフトにより、LFの各ピクセルを独立して再焦点を合わせることができます。
まばらなLFSの場合、Shift-and-Sumメソッドは、空間のアンダーサンプリングのためにゴーストアーティファクトを導入します。
U-Netアーキテクチャに基づいた深い学習モデルを使用して、ゴーストアーティファクトをほぼ完全に排除します。
いくつかのLFデータセットで得られた実験結果は、提案された方法の有効性を確認します。
特に、密なLFSと比較してデータの20％しか持っていないにもかかわらず、0.9を超える構造類似性インデックスの提案に再焦点を合わせたまばらなLFS。

要約(オリジナル)

A four-dimensional light field (LF) captures both textural and geometrical information of a scene in contrast to a two-dimensional image that captures only the textural information of a scene. Post-capture refocusing is an exciting application of LFs enabled by the geometric information captured. Previously proposed LF refocusing methods are mostly limited to the refocusing of single planar or volumetric region of a scene corresponding to a depth range and cannot simultaneously generate in-focus and out-of-focus regions having the same depth range. In this paper, we propose an end-to-end pipeline to simultaneously refocus multiple arbitrary planar or volumetric regions of a dense or a sparse LF. We employ pixel-dependent shifts with the typical shift-and-sum method to refocus an LF. The pixel-dependent shifts enables to refocus each pixel of an LF independently. For sparse LFs, the shift-and-sum method introduces ghosting artifacts due to the spatial undersampling. We employ a deep learning model based on U-Net architecture to almost completely eliminate the ghosting artifacts. The experimental results obtained with several LF datasets confirm the effectiveness of the proposed method. In particular, sparse LFs refocused with the proposed method archive structural similarity index higher than 0.9 despite having only 20% of data compared to dense LFs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google