Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

要約

最近の 3D ガウス スプラッティング (3D-GS) は、NeRF ベースのニューラル シーン表現と比較して、顕著なレンダリング忠実度と効率性を示しています。
3D-GS は、リアルタイム レンダリングの可能性を示していますが、視錐台内に配置されるガウス プリミティブの数が多すぎるため、複雑な詳細を持つ大規模なシーンでレンダリングのボトルネックに遭遇します。
この制限は、ズームアウト ビューで特に顕著であり、詳細が異なるシーンではレンダリング速度が不安定になる可能性があります。
さらに、ヒューリスティックな密度制御操作を使用して、さまざまなスケールで対応する詳細レベルをキャプチャするのに苦労することがよくあります。
詳細レベル (LOD) 技術にインスピレーションを得た Octree-GS は、最終的なレンダリング結果に寄与するシーン表現の詳細レベル分解をサポートする LOD 構造の 3D ガウス アプローチを特徴としています。
私たちのモデルは、複数解像度のアンカー ポイントのセットから適切なレベルを動的に選択し、高忠実度のレンダリング結果を維持しながら、適応型 LOD 調整により一貫したレンダリング パフォーマンスを保証します。

要約(オリジナル)

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google