Mesh-Learner: Texturing Mesh with Spherical Harmonics

要約

このホワイトペーパーでは、従来のラスター化パイプラインとネイティブに互換性のあるメッシュ学習者と呼ばれる3D再構成およびレンダリングフレームワークを紹介します。
メッシュと球状高調波（SH）テクスチャ（つまり、SH係数で満たされたテクスチャ）を学習プロセスに統合して、各メッシュのビュー依存性放射輝度を学習します。
画像は、新しい補間法を使用して、各ピクセルSサンプリングポイントで周囲のSHテクセルを補間することによってレンダリングされます。
逆に、各ピクセルからの勾配は、SHテクスチャの関連するSHテクセルに戻ってプロップします。
Mesh-Learnerは、ラスター化パイプライン（テクスチャサンプリング、延期レンダリング）のグラフィック機能をレンダリングにします。これにより、メッシュ学習者は、ツール（ブレンダーなど）とタスク（例えば、3D再構築、シーンレンダリング、ロボットの補強学習）と自然に互換性があります。
私たちのシステムは、トレーニングのためにGPUにSHテクスチャのみをGPUに転送するため、広大で無制限のシーンをトレーニングできます。
それ以外の場合、SHテクスチャはCPU RAMに保存され、その結果、GPUメモリ使用が中程度になります。
レプリカおよび高速livo2データセットの補間と外挿シーケンスのレンダリング結果は、既存の最先端の方法（3DガウスのスプラッティングやM2マッピングなど）と比較して、最先端のパフォーマンスを実現します。
社会に利益をもたらすために、コードはhttps://github.com/hku-mars/mesh-learnerで入手できます。

要約(オリジナル)

In this paper, we present a 3D reconstruction and rendering framework termed Mesh-Learner that is natively compatible with traditional rasterization pipelines. It integrates mesh and spherical harmonic (SH) texture (i.e., texture filled with SH coefficients) into the learning process to learn each mesh s view-dependent radiance end-to-end. Images are rendered by interpolating surrounding SH Texels at each pixel s sampling point using a novel interpolation method. Conversely, gradients from each pixel are back-propagated to the related SH Texels in SH textures. Mesh-Learner exploits graphic features of rasterization pipeline (texture sampling, deferred rendering) to render, which makes Mesh-Learner naturally compatible with tools (e.g., Blender) and tasks (e.g., 3D reconstruction, scene rendering, reinforcement learning for robotics) that are based on rasterization pipelines. Our system can train vast, unlimited scenes because we transfer only the SH textures within the frustum to the GPU for training. At other times, the SH textures are stored in CPU RAM, which results in moderate GPU memory usage. The rendering results on interpolation and extrapolation sequences in the Replica and FAST-LIVO2 datasets achieve state-of-the-art performance compared to existing state-of-the-art methods (e.g., 3D Gaussian Splatting and M2-Mapping). To benefit the society, the code will be available at https://github.com/hku-mars/Mesh-Learner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google