From NeRFs to Gaussian Splats, and Back

要約

(通常、自己中心的な) ビューの数が限られているロボット工学アプリケーションの場合、神経放射フィールド (NeRF) などのパラメトリック表現は、ガウス スプラッティング (GS) などのノンパラメトリック表現よりも、それらとは大きく異なるビューを一般化します。
トレーニングデータ内。
ただし、GS は NeRF よりもはるかに高速にレンダリングできます。
この 2 つを相互に変換する手順を開発します。
私たちのアプローチは、NeRF (異なるビューでの優れた PSNR、SSIM、および LPIPS、およびコンパクトな表現) と GS (リアルタイム レンダリングおよび表現を簡単に変更する機能) の両方の長所を実現します。
これらの変換の計算コストは​​、2 つを最初からトレーニングする場合に比べてわずかです。

要約(オリジナル)

For robotics applications where there is a limited number of (typically ego-centric) views, parametric representations such as neural radiance fields (NeRFs) generalize better than non-parametric ones such as Gaussian splatting (GS) to views that are very different from those in the training data; GS however can render much faster than NeRFs. We develop a procedure to convert back and forth between the two. Our approach achieves the best of both NeRFs (superior PSNR, SSIM, and LPIPS on dissimilar views, and a compact representation) and GS (real-time rendering and ability for easily modifying the representation); the computational cost of these conversions is minor compared to training the two from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google