SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis

要約

我々は、登録されたマルチビュー スペクトルとセグメンテーション マップから現実的で意味的に意味のあるスプラットを生成する 3D ガウス スプラッティング (3DGS) に基づく新しいクロススペクトル レンダリング フレームワークを提案します。
この拡張機能により、複数のスペクトルを使用したシーンの表現が強化され、基礎となるマテリアルとセグメンテーションについての洞察が得られます。
ガウス スプラットに対して改良された物理ベースのレンダリング アプローチを導入し、スペクトルごとに反射率と光を推定することで、精度とリアリズムを向上させます。
包括的な定量的および定性的評価において、他の最近の学習ベースのスペクトル シーン表現アプローチ (つまり、XNeRF および SpectralNeRF) および他の非スペクトルの最先端の学習に関して、私たちのアプローチの優れたパフォーマンスを実証します。
ベースのアプローチ。
私たちの研究は、スタイルの転送、修復、削除などの正確なシーン編集技術のためのスペクトル シーンの理解の可能性も示しています。
これにより、私たちの貢献はマルチスペクトルシーンの表現、レンダリング、編集における課題に対処し、多様なアプリケーションに新たな可能性を提供します。

要約(オリジナル)

We propose a novel cross-spectral rendering framework based on 3D Gaussian Splatting (3DGS) that generates realistic and semantically meaningful splats from registered multi-view spectrum and segmentation maps. This extension enhances the representation of scenes with multiple spectra, providing insights into the underlying materials and segmentation. We introduce an improved physically-based rendering approach for Gaussian splats, estimating reflectance and lights per spectra, thereby enhancing accuracy and realism. In a comprehensive quantitative and qualitative evaluation, we demonstrate the superior performance of our approach with respect to other recent learning-based spectral scene representation approaches (i.e., XNeRF and SpectralNeRF) as well as other non-spectral state-of-the-art learning-based approaches. Our work also demonstrates the potential of spectral scene understanding for precise scene editing techniques like style transfer, inpainting, and removal. Thereby, our contributions address challenges in multi-spectral scene representation, rendering, and editing, offering new possibilities for diverse applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google