DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

要約

ぼやけたマルチビュー画像からのシャープな3D表現の再構築は、コンピュータービジョンにおける長年の問題です。
最近の作品は、イベントベースのカメラを活用して、高ダイナミックレンジとマイクロ秒の時間分解能の恩恵を受けることにより、モーションブラーからの高品質の新規ビューの合成を強化しようとしています。
しかし、彼らはしばしば、不正確な色を回復するか、細かい詳細を失うことにおいて、最適下の視覚品質に達します。
このホワイトペーパーでは、3DGを脱脂する事前およびイベントのストリーム支援モーションであるDiet-GSを紹介します。
私たちのフレームワークは、2段階のトレーニング戦略において、ぼやけのないイベントストリームと拡散の両方を効果的に活用しています。
具体的には、イベントのダブル積分を備えた3DGSを制約するための新しいフレームワークを紹介し、正確な色と明確に定義された詳細の両方を実現します。
さらに、エッジの詳細をさらに強化する前に、拡散を活用する簡単な手法を提案します。
合成および実世界の両方のデータの定性的および定量的結果は、私たちの食事g-gsが既存のベースラインと比較して、非常に優れた品質の新しい見解を生み出すことができることを示しています。
プロジェクトページはhttps://diet-gs.github.ioです

要約(オリジナル)

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google