Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh

要約

ニューラル放射輝度フィールド（NERF）などのニューラル3D表現は、写真と現実的なレンダリング結果の生成に優れていますが、コンテンツの作成に不可欠な操作と編集の柔軟性がありません。
以前の作品は、標準空間でnerfを変形させるか、明示的なメッシュに基づいて放射磁場を操作することにより、この問題に対処しようとしてきました。
ただし、NERFの操作は非常に制御できず、長いトレーニングと推論時間が必要です。
3Dガウスのスプラッティング（3DG）の出現により、非常に忠実度の斬新なビュー合成を実現できます。
ただし、レンダリング品質を維持しながら、3DGを自由に操作する効果的な手段がまだ不足しています。
この作業では、操作可能な写真と現実的なレンダリングを達成するという課題に取り組むことを目指しています。
三角メッシュを利用して、3DGを直接自己適応して操作することを提案します。
このアプローチは、さまざまな種類のガウス操作のためにさまざまなアルゴリズムを設計する必要性を減らします。
三角形の形状を認識しているガウス結合と適応方法を利用することにより、3DGS操作を達成し、操作後に高忠実度のレンダリングを維持できます。
私たちのアプローチは、高品質のレンダリングを維持しながら、大きな変形、局所操作、ソフトボディシミュレーションを処理することができます。
さらに、3DGから抽出された不正確なメッシュでもこの方法が効果的であることを実証します。
実施された実験は、私たちの方法の有効性と、ベースラインアプローチに対するその優位性を示しています。

要約(オリジナル)

Neural 3D representations such as Neural Radiance Fields (NeRF), excel at producing photo-realistic rendering results but lack the flexibility for manipulation and editing which is crucial for content creation. Previous works have attempted to address this issue by deforming a NeRF in canonical space or manipulating the radiance field based on an explicit mesh. However, manipulating NeRF is not highly controllable and requires a long training and inference time. With the emergence of 3D Gaussian Splatting (3DGS), extremely high-fidelity novel view synthesis can be achieved using an explicit point-based 3D representation with much faster training and rendering speed. However, there is still a lack of effective means to manipulate 3DGS freely while maintaining rendering quality. In this work, we aim to tackle the challenge of achieving manipulable photo-realistic rendering. We propose to utilize a triangular mesh to manipulate 3DGS directly with self-adaptation. This approach reduces the need to design various algorithms for different types of Gaussian manipulation. By utilizing a triangle shape-aware Gaussian binding and adapting method, we can achieve 3DGS manipulation and preserve high-fidelity rendering after manipulation. Our approach is capable of handling large deformations, local manipulations, and soft body simulations while keeping high-quality rendering. Furthermore, we demonstrate that our method is also effective with inaccurate meshes extracted from 3DGS. Experiments conducted demonstrate the effectiveness of our method and its superiority over baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google