SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors

要約

3D ガウス スプラッティング (3DGS) は、3D シーンの再構築において比類のない優れたパフォーマンスを示します。
ただし、3DGS は鮮明な画像に大きく依存しています。
現実のシナリオでは、特にカメラが高速で移動する場合、この要件を満たすことが困難になる可能性があり、これにより 3DGS のアプリケーションが大幅に制限されます。
これらの課題に対処するために、私たちはスパイク ガウシアン スプラッティング (SpikeGS) を提案しました。これは、スパイク ストリームを 3DGS パイプラインに統合し、高速で動く生物からインスピレーションを得たカメラを介して 3D シーンを再構築する最初のフレームワークです。
SpikeGS は、累積ラスタライゼーション、間隔監視、および特別に設計されたパイプラインを使用して、高い時間解像度ではあるがテクスチャが欠如しているスパイク ストリームから詳細なジオメトリとテクスチャを抽出し、1 秒でキャプチャされた 3D シーンを再構成します。
複数の合成データセットと現実世界のデータセットに対する広範な実験により、既存のスパイクベースおよびブレ除去 3D シーン再構築手法と比較して SpikeGS の優位性が実証されました。
コードとデータは近日公開予定です。

要約(オリジナル)

3D Gaussian Splatting (3DGS) demonstrates unparalleled superior performance in 3D scene reconstruction. However, 3DGS heavily relies on the sharp images. Fulfilling this requirement can be challenging in real-world scenarios especially when the camera moves fast, which severely limits the application of 3DGS. To address these challenges, we proposed Spike Gausian Splatting (SpikeGS), the first framework that integrates the spike streams into 3DGS pipeline to reconstruct 3D scenes via a fast-moving bio-inspired camera. With accumulation rasterization, interval supervision, and a specially designed pipeline, SpikeGS extracts detailed geometry and texture from high temporal resolution but texture lacking spike stream, reconstructs 3D scenes captured in 1 second. Extensive experiments on multiple synthetic and real-world datasets demonstrate the superiority of SpikeGS compared with existing spike-based and deblur 3D scene reconstruction methods. Codes and data will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google