DARB-Splatting: Generalizing Splatting with Decaying Anisotropic Radial Basis Functions

要約

スプラッティング ベースの 3D 再構成手法は、3D ガウス スプラッティングの出現により人気が高まり、高品質の新しいビューを効率的に合成できます。
これらの方法では、異方性の性質、射影の容易さ、ラスター化の微分可能性により、ガウス関数などの指数関数族関数を再構成カーネルとして使用することが一般的です。
しかし、この分野は依然として指数関数族内の変動に限定されており、3D から 2D への投影における統合が容易ではないこともあり、一般化された再構成カーネルはほとんど研究されていません。
この観点から、マハラノビス距離の非負関数である減衰異方性動径基底関数 (DARBF) のクラスが、ガウス関数の閉形式積分の利点を近似することによってスプラッティングをサポートすることを示します。
この新たな視点により、同等の PSNR、SSIM、LPIPS 結果を維持しながら、トレーニング中の収束が最大 34% 高速になり、さまざまな DARB 再構築カーネル全体でメモリ消費量が 15% 削減されることを実証しました。
コードをご用意させていただきます。

要約(オリジナル)

Splatting-based 3D reconstruction methods have gained popularity with the advent of 3D Gaussian Splatting, efficiently synthesizing high-quality novel views. These methods commonly resort to using exponential family functions, such as the Gaussian function, as reconstruction kernels due to their anisotropic nature, ease of projection, and differentiability in rasterization. However, the field remains restricted to variations within the exponential family, leaving generalized reconstruction kernels largely underexplored, partly due to the lack of easy integrability in 3D to 2D projections. In this light, we show that a class of decaying anisotropic radial basis functions (DARBFs), which are non-negative functions of the Mahalanobis distance, supports splatting by approximating the Gaussian function’s closed-form integration advantage. With this fresh perspective, we demonstrate up to 34% faster convergence during training and a 15% reduction in memory consumption across various DARB reconstruction kernels, while maintaining comparable PSNR, SSIM, and LPIPS results. We will make the code available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google