EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

要約

リアルタイム微分可能な発光のみのボリューム レンダリングの手法である Exact Volumetric Ellipsoid Rendering (EVER) を紹介します。
3D ガウス スプラッティング (3DGS) による最近のラスタライゼーション ベースのアプローチとは異なり、当社のプリミティブ ベースの表現では、3D ガウス ビルボードをアルファ合成するのではなく、正確なボリューム レンダリングが可能になります。
そのため、3DGS とは異なり、私たちの定式化ではポップ アーティファクトやビュー依存の密度に悩まされることはありませんが、それでも NVIDIA RTX4090 で 720p で $\sim\!30$ FPS のフレーム レートを達成します。
私たちのアプローチはレイ トレーシングに基づいて構築されているため、ラスター化では実現するのが難しい、焦点ぼけやカメラの歪み (魚眼カメラなど) などの効果が可能になります。
私たちの手法は 3DGS よりもブレンディングの問題が少なく正確であることを示し、特に Zip-NeRF データセットからの困難な大規模シーンでは、リアルタイム手法の中で最も鮮明な結果が得られる、ビュー一貫性のあるレンダリングに関するフォローアップ作業を行っています。

要約(オリジナル)

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of $\sim\!30$ FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google