RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

要約

ビュー合成とリアルタイム レンダリングの最近の進歩により、驚異的なレンダリング速度でフォトリアリスティックな品質が実現されました。
ラディアンス フィールド ベースの手法は、自然の中でのキャプチャや大規模なシーンなどの困難なシナリオで最先端の品質を実現しますが、多くの場合、ボリューム レンダリングに関連する過度に高いコンピューティング要件に悩まされます。
一方、ガウス スプラッティング ベースの手法はラスタライゼーションに依存しており、当然のことながらリアルタイム レンダリングを実現しますが、より困難なシーンではパフォーマンスが低下する脆弱な最適化ヒューリスティックに悩まされます。
この研究では、複雑なシーンの堅牢なリアルタイム レンダリングのための軽量メソッドである RadSplat を紹介します。
私たちの主な貢献は 3 つあります。
まず、点ベースのシーン表現を最適化するための事前信号および監視信号として放射輝度フィールドを使用し、品質の向上とより堅牢な最適化につながります。
次に、高品質を維持しながら全体のポイント数を削減する新しい枝刈り手法を開発し、より高速な推論速度でより小さくコンパクトなシーン表現を実現します。
最後に、レンダリングをさらに高速化し、より大きな住宅サイズのシーンに拡張できる新しいテスト時フィルタリング アプローチを提案します。
私たちの方法により、900+ FPS で複雑なキャプチャの最先端の合成が可能になることがわかりました。

要約(オリジナル)

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google