RaySplats: Ray Tracing based Gaussian Splatting

要約

3D Gaussian Splatting（3DGS）は、2D画像から3Dオブジェクトを直接作成できるプロセスです。
この表現は、迅速なトレーニングやレンダリングなど、多くの利点を提供します。
ただし、3DGSの大きな制限は、主にレンダリングのためにレイトレースではなくラスター化の利用のために、光と影の反射を組み込むという課題です。
このペーパーでは、Raysplatsを紹介します。Raysplatsは、レイトレースベースのガウススプラッティングを採用するモデルです。
ガウスの投影を利用するのではなく、私たちの方法は、RGB色の信頼性楕円に代表されるガウスプリミティブに直接動作する光線追跡メカニズムを採用しています。
実際には、楕円と光線の間の交差点を計算して、レイトレースのアルゴリズムを構築し、ガウスのスプラットモデルとメッシュの組み込み、ライト、影、その他の関連効果の追加を促進します。

要約(オリジナル)

3D Gaussian Splatting (3DGS) is a process that enables the direct creation of 3D objects from 2D images. This representation offers numerous advantages, including rapid training and rendering. However, a significant limitation of 3DGS is the challenge of incorporating light and shadow reflections, primarily due to the utilization of rasterization rather than ray tracing for rendering. This paper introduces RaySplats, a model that employs ray-tracing based Gaussian Splatting. Rather than utilizing the projection of Gaussians, our method employs a ray-tracing mechanism, operating directly on Gaussian primitives represented by confidence ellipses with RGB colors. In practice, we compute the intersection between ellipses and rays to construct ray-tracing algorithms, facilitating the incorporation of meshes with Gaussian Splatting models and the addition of lights, shadows, and other related effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google