Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field Images

要約

この論文では、ローリング シャッター センサーを備えたライトフィールド カメラで撮影された 1 つの画像からシーンを 3D 再構成する問題に対処するアプローチを提案します。
私たちの方法は、ライトフィールドに存在する 3D 情報キューと、ローリング シャッター効果によって提供される動き情報を活用します。
このセンサーのイメージング プロセスの一般的なモデルと、動き形状バンドル調整推定戦略でカメラの位置と動きを考慮しながら再投影誤差を最小限に抑える 2 段階のアルゴリズムを提示します。
これにより、瞬時の 3D 形状、姿勢、速度センシング パラダイムが提供されます。
私たちの知る限り、これはこの目的でこのタイプのセンサーを活用した最初の研究です。
また、ローリング シャッター効果を示すさまざまなライト フィールドで構成される新しいベンチマーク データセットも提示します。これは、この分野の評価を向上させ、進捗状況を追跡するための共通のベースとして使用できます。
さまざまなシーンや動きの種類に対して実施されたいくつかの実験を通じて、このアプローチの有効性と利点を実証します。
ソース コードとデータセットは、https://github.com/ICB-Vision-AI/RSLF で公開されています。

要約(オリジナル)

In this paper, we propose an approach to address the problem of 3D reconstruction of scenes from a single image captured by a light-field camera equipped with a rolling shutter sensor. Our method leverages the 3D information cues present in the light-field and the motion information provided by the rolling shutter effect. We present a generic model for the imaging process of this sensor and a two-stage algorithm that minimizes the re-projection error while considering the position and motion of the camera in a motion-shape bundle adjustment estimation strategy. Thereby, we provide an instantaneous 3D shape-and-pose-and-velocity sensing paradigm. To the best of our knowledge, this is the first study to leverage this type of sensor for this purpose. We also present a new benchmark dataset composed of different light-fields showing rolling shutter effects, which can be used as a common base to improve the evaluation and tracking the progress in the field. We demonstrate the effectiveness and advantages of our approach through several experiments conducted for different scenes and types of motions. The source code and dataset are publicly available at: https://github.com/ICB-Vision-AI/RSLF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google