Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3D-GS) は、速度と画質の両方の点で神経放射フィールド (NeRF) を上回る新しいレンダリング アプローチです。
3D-GS は、数百万の 3D ガウスを利用して 3D シーンを表し、これらのガウスをレンダリングのために 2D 画像平面に投影します。
ただし、レンダリング プロセス中に、現在のビュー方向に対してかなりの数の不必要な 3D ガウスが存在し、その識別に関連する計算コストが大幅に増加します。
この論文では、画質を損なうことなく現在のビューをレンダリングするために、不要な 3D ガウスをリアルタイムで迅速に特定する計算削減手法を提案します。
これは、距離が近い 3D ガウスのオフライン クラスタリングと、それに続く実行時の 2D 画像平面へのこれらのクラスタの投影によって実現されます。
さらに、提案手法を GPU 上で実行する際のボトルネックを分析し、提案手法をシームレスにサポートする効率的なハードウェア アーキテクチャを提案します。
Mip-NeRF360 データセットの場合、提案された手法は 2D 画像投影前に 3D ガウスの平均 63% を除外します。これにより、ピーク信号対雑音比 (PSNR) を犠牲にすることなく、全体のレンダリング計算がほぼ 38.3% 削減されます。
提案されたアクセラレータは、GPU と比較して 10.7 倍の高速化も達成します。

要約(オリジナル)

3D Gaussian splatting (3D-GS) is a new rendering approach that outperforms the neural radiance field (NeRF) in terms of both speed and image quality. 3D-GS represents 3D scenes by utilizing millions of 3D Gaussians and projects these Gaussians onto the 2D image plane for rendering. However, during the rendering process, a substantial number of unnecessary 3D Gaussians exist for the current view direction, resulting in significant computation costs associated with their identification. In this paper, we propose a computational reduction technique that quickly identifies unnecessary 3D Gaussians in real-time for rendering the current view without compromising image quality. This is accomplished through the offline clustering of 3D Gaussians that are close in distance, followed by the projection of these clusters onto a 2D image plane during runtime. Additionally, we analyze the bottleneck associated with the proposed technique when executed on GPUs and propose an efficient hardware architecture that seamlessly supports the proposed scheme. For the Mip-NeRF360 dataset, the proposed technique excludes 63% of 3D Gaussians on average before the 2D image projection, which reduces the overall rendering computation by almost 38.3% without sacrificing peak-signal-to-noise-ratio (PSNR). The proposed accelerator also achieves a speedup of 10.7x compared to a GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google