Sparse Point Cloud Patches Rendering via Splitting 2D Gaussians

要約

現在の学習ベースの方法は、ポイントクラウドからNERFまたは3Dガウスを予測して、写真と現実的なレンダリングを実現しますが、カテゴリの前層、密なポイント雲、または追加の改良に依存しています。
したがって、ポイントクラウドから2Dガウスを予測することにより、新しいポイントクラウドレンダリング方法を導入します。
このメソッドには、パッチ全体のアーキテクチャを備えた2つの同一のモジュールが組み込まれており、ネットワークを複数のデータセットに一般化できるようにします。
モジュールは、正規、色、距離などのポイントクラウド情報を使用して、ガウスを正規化および初期化します。
次に、デコーダーを分割して、それらを複製し、より正確な結果を予測することにより、最初のガウスを改良するために採用され、方法論がまばらな点雲にも効果的に対応します。
訓練されると、私たちのアプローチは、さまざまなカテゴリにわたってクラウドを指すように直接一般化を示します。
予測されたガウス人は、レンダリングされた画像をさらに洗練することなくレンダリングに直接採用され、2Dガウスの利点を保持しています。
さまざまなデータセットで広範な実験を実施し、結果はSOTAパフォーマンスを達成する方法の優位性と一般化を示しています。
このコードは、https：//github.com/murcherful/gaupcredend} {https://github.com/murcherful/gaupcredendで入手できます。

要約(オリジナル)

Current learning-based methods predict NeRF or 3D Gaussians from point clouds to achieve photo-realistic rendering but still depend on categorical priors, dense point clouds, or additional refinements. Hence, we introduce a novel point cloud rendering method by predicting 2D Gaussians from point clouds. Our method incorporates two identical modules with an entire-patch architecture enabling the network to be generalized to multiple datasets. The module normalizes and initializes the Gaussians utilizing the point cloud information including normals, colors and distances. Then, splitting decoders are employed to refine the initial Gaussians by duplicating them and predicting more accurate results, making our methodology effectively accommodate sparse point clouds as well. Once trained, our approach exhibits direct generalization to point clouds across different categories. The predicted Gaussians are employed directly for rendering without additional refinement on the rendered images, retaining the benefits of 2D Gaussians. We conduct extensive experiments on various datasets, and the results demonstrate the superiority and generalization of our method, which achieves SOTA performance. The code is available at https://github.com/murcherful/GauPCRender}{https://github.com/murcherful/GauPCRender.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google