E2GS: Event Enhanced Gaussian Splatting

要約

イベント カメラは、ダイナミック レンジが高く、モーション ブラーがないこと、エネルギー使用量が少ないことで知られており、最近ではこれらの特性により幅広い用途が見出されています。
過去数年間で、イベントベースの 3D 再構築の分野は目覚ましい進歩を遂げ、Neural Radiance Field (NeRF) ベースのアプローチがフォトリアリスティックなビュー合成結果を実証しました。
ただし、NeRF のボリューム レンダリング パラダイムでは、膨大なトレーニングとレンダリング時間が必要になります。
この論文では、イベント データをガウス スプラッティングに組み込む新しい方法であるイベント拡張ガウス スプラッティング (E2GS) を紹介します。これは、新しいビュー合成の分野で最近大きな進歩を遂げました。
当社の E2GS は、ぼやけた画像とイベント データの両方を効果的に利用し、画像のぼやけを大幅に改善し、高品質の新しいビュー合成を生成します。
合成データセットと現実世界のデータセットの両方に対する包括的な実験により、E2GS がより高速なトレーニングとレンダリング速度 (140 FPS) を提供しながら、視覚的に魅力的なレンダリングを生成できることが実証されました。
私たちのコードは https://github.com/deguchihiroyuki/E2GS で入手できます。

要約(オリジナル)

Event cameras, known for their high dynamic range, absence of motion blur, and low energy usage, have recently found a wide range of applications thanks to these attributes. In the past few years, the field of event-based 3D reconstruction saw remarkable progress, with the Neural Radiance Field (NeRF) based approach demonstrating photorealistic view synthesis results. However, the volume rendering paradigm of NeRF necessitates extensive training and rendering times. In this paper, we introduce Event Enhanced Gaussian Splatting (E2GS), a novel method that incorporates event data into Gaussian Splatting, which has recently made significant advances in the field of novel view synthesis. Our E2GS effectively utilizes both blurry images and event data, significantly improving image deblurring and producing high-quality novel view synthesis. Our comprehensive experiments on both synthetic and real-world datasets demonstrate our E2GS can generate visually appealing renderings while offering faster training and rendering speed (140 FPS). Our code is available at https://github.com/deguchihiroyuki/E2GS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google