SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera

要約

Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) などのニューラル フィールド手法を使用してシャープな Novel View Synthesis (NVS) を実現する上で最も重要な要素の 1 つは、トレーニング画像の品質です。
ただし、従来の RGB カメラはモーション ブラーの影響を受けやすいです。
対照的に、イベント カメラやスパイク カメラなどのニューロモーフィック カメラは、本質的により包括的な時間情報をキャプチャし、追加のトレーニング データとしてシーンを鮮明に表現できます。
最近の方法では、NVS の品質を向上させるためにイベント カメラの統合が検討されています。
イベント RGB アプローチには、トレーニング コストが高いこと、バックグラウンドで効果的に動作できないことなど、いくつかの制限があります。
代わりに、私たちの研究では、スパイクカメラを使用してこれらの制限を克服する新しい方法を導入しました。
スパイク ストリームからのテクスチャ再構成をグラウンド トゥルースとして考慮することで、スパイクからのテクスチャ (TfS) 損失を設計します。
スパイク カメラはイベント カメラで使用される時間微分ではなく時間積分に依存しているため、私たちが提案する TfS 損失は管理可能なトレーニング コストを維持します。
前景オブジェクトと背景を同時に処理します。
また、将来の研究活動を促進するために、スパイク RGB カメラ システムでキャプチャされた現実世界のデータセットも提供します。
私たちは、合成データセットと現実世界のデータセットを使用して広範な実験を実施し、私たちの設計が NeRF と 3DGS にわたる新しいビューの合成を強化できることを実証しました。
コードとデータセットは一般公開されます。

要約(オリジナル)

One of the most critical factors in achieving sharp Novel View Synthesis (NVS) using neural field methods like Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) is the quality of the training images. However, Conventional RGB cameras are susceptible to motion blur. In contrast, neuromorphic cameras like event and spike cameras inherently capture more comprehensive temporal information, which can provide a sharp representation of the scene as additional training data. Recent methods have explored the integration of event cameras to improve the quality of NVS. The event-RGB approaches have some limitations, such as high training costs and the inability to work effectively in the background. Instead, our study introduces a new method that uses the spike camera to overcome these limitations. By considering texture reconstruction from spike streams as ground truth, we design the Texture from Spike (TfS) loss. Since the spike camera relies on temporal integration instead of temporal differentiation used by event cameras, our proposed TfS loss maintains manageable training costs. It handles foreground objects with backgrounds simultaneously. We also provide a real-world dataset captured with our spike-RGB camera system to facilitate future research endeavors. We conduct extensive experiments using synthetic and real-world datasets to demonstrate that our design can enhance novel view synthesis across NeRF and 3DGS. The code and dataset will be made available for public access.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google