Dense Scene Reconstruction from Light-Field Images Affected by Rolling Shutter

要約

本論文では、強いローリングシャッター（RS）効果を補正できる、ライトフィールド（LF）画像からの高密度な奥行き推定アプローチを提示する。本手法は、RS補正されたビューと、RS補正された高密度の視差マップを推定する。2次元ガウシアンスプラッティングに基づく2段階の方法を提示し、「レンダリングして比較する」戦略と点群定式化を可能にする。第一段階では、サブアパーチャ画像のサブセットを用いて、RSに依存しない3次元形状を推定する。第2段階では、許容されるカメラの動きを推定することにより、3D形状の変形を計算する。我々は、様々なシーンと動きのタイプに対して行われたいくつかの実験を通して、このアプローチの有効性と利点を実証する。評価に適したデータセットがないため、RS LF画像からなる注意深く設計された新しい合成データセットも紹介する。ソースコード、学習済みモデル、データセットは、https://github.com/ICB-Vision-AI/DenseRSLF で公開される予定である。

要約(オリジナル)

This paper presents a dense depth estimation approach from light-field (LF) images that is able to compensate for strong rolling shutter (RS) effects. Our method estimates RS compensated views and dense RS compensated disparity maps. We present a two-stage method based on a 2D Gaussians Splatting that allows for a “render and compare’ strategy with a point cloud formulation. In the first stage, a subset of sub-aperture images is used to estimate an RS agnostic 3D shape that is related to the scene target shape “up to a motion’. In the second stage, the deformation of the 3D shape is computed by estimating an admissible camera motion. We demonstrate the effectiveness and advantages of this approach through several experiments conducted for different scenes and types of motions. Due to lack of suitable datasets for evaluation, we also present a new carefully designed synthetic dataset of RS LF images. The source code, trained models and dataset will be made publicly available at: https://github.com/ICB-Vision-AI/DenseRSLF

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL