IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera

要約

新しいビュー合成のための暗黙的ニューラル表現と明示的 3D ガウス スプラッティング (3D-GS) は、最近、フレームベースのカメラ (RGB カメラや RGB-D カメラなど) で目覚ましい進歩を遂げています。
フレームベースのカメラと比較して、新しいタイプの生体からインスピレーションを得た視覚センサー、つまりイベント カメラは、高時間解像度、高ダイナミック レンジ、低消費電力、低遅延という利点を実証しています。
独自の非同期で不規則なデータ キャプチャ プロセスのため、イベント カメラにニューラル表現または 3D ガウス スプラッティングを適用するために提案されている作業は限られています。
この研究では、単一のイベント カメラを使用したインクリメンタル 3D ガウス スプラッティング再構成アルゴリズムである IncEventGS を紹介します。
3D シーン表現を段階的に復元するために、IncEventGS の従来の SLAM パイプラインの追跡およびマッピング パラダイムを利用します。
受信イベント ストリームが与えられると、トラッカーはまず、以前に再構築された 3D-GS シーン表現に基づいて初期カメラの動きを推定します。
次に、マッパーは、トラッカーから事前に推定されたモーション軌跡に基づいて、3D シーン表現とカメラ モーションの両方を共同で調整します。
実験結果は、グラウンドトゥルース カメラのポーズがない場合でも、IncEventGS が以前の NeRF ベースの手法やその他の関連ベースラインと比較して優れたパフォーマンスを提供することを示しています。
さらに、私たちの方法は、カメラの動きの推定に関して、最先端のイベントビジュアルオドメトリ方法と比較して優れたパフォーマンスを提供することもできます。
コードは https://github.com/wu-cvgl/IncEventGS で公開されています。

要約(オリジナル)

Implicit neural representation and explicit 3D Gaussian Splatting (3D-GS) for novel view synthesis have achieved remarkable progress with frame-based camera (e.g. RGB and RGB-D cameras) recently. Compared to frame-based camera, a novel type of bio-inspired visual sensor, i.e. event camera, has demonstrated advantages in high temporal resolution, high dynamic range, low power consumption and low latency. Due to its unique asynchronous and irregular data capturing process, limited work has been proposed to apply neural representation or 3D Gaussian splatting for an event camera. In this work, we present IncEventGS, an incremental 3D Gaussian Splatting reconstruction algorithm with a single event camera. To recover the 3D scene representation incrementally, we exploit the tracking and mapping paradigm of conventional SLAM pipelines for IncEventGS. Given the incoming event stream, the tracker firstly estimates an initial camera motion based on prior reconstructed 3D-GS scene representation. The mapper then jointly refines both the 3D scene representation and camera motion based on the previously estimated motion trajectory from the tracker. The experimental results demonstrate that IncEventGS delivers superior performance compared to prior NeRF-based methods and other related baselines, even we do not have the ground-truth camera poses. Furthermore, our method can also deliver better performance compared to state-of-the-art event visual odometry methods in terms of camera motion estimation. Code is publicly available at: https://github.com/wu-cvgl/IncEventGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google