Mesh-based Gaussian Splatting for Real-time Large-scale Deformation

要約

ニューラル ディスタンス フィールドやニューラル ラディアンス フィールドなどのニューラル暗黙的表現は、複雑なジオメトリとトポロジーを持つサーフェスを再構築し、シーンの新しいビューを生成するための重要な機能を実証しています。
それにもかかわらず、ユーザーにとって、これらの暗黙的な表現をリアルタイムで直接変形したり、大幅に変形して操作したりすることは困難です。
ガウス スプラッティング (GS) は、静的なシーンを表現し、新しいビューの高品質でリアルタイムの合成を容易にするための明示的なジオメトリを備えた有望な方法として最近注目されています。
ただし、離散ガウスの使用と明示的なトポロジーの欠如により、簡単に変形することはできません。
これに対処するために、私たちはインタラクティブな変形を可能にする新しい GS ベースの方法を開発しました。
私たちの重要なアイデアは、ガウス学習と操作に統合された革新的なメッシュベースの GS 表現を設計することです。
3D ガウスは明示的なメッシュ上で定義され、相互にバインドされます。3D ガウスのレンダリングは、適応的改良のためのメッシュ面の分割をガイドし、メッシュ面の分割は 3D ガウスの分割を指示します。
さらに、明示的なメッシュ制約はガウス分布の正規化に役立ち、低品質のガウス (例: 位置がずれたガウス、細長い形状のガウス) を抑制し、視覚的な品質を向上させ、変形中のアーティファクトを回避します。
この表現に基づいて、関連するメッシュの操作に従って 3D ガウスのパラメータを変更する、変形可能な GS を可能にする大規模なガウス変形手法をさらに導入します。
私たちの方法では、既存のメッシュ変形データセットを利用して、より現実的なデータ駆動型のガウス変形を実現します。
広範な実験により、私たちのアプローチが高フレーム レート (平均 65 FPS) で有望なレンダリング結果を維持しながら、高品質の再構成と効果的な変形を達成できることが示されています。

要約(オリジナル)

Neural implicit representations, including Neural Distance Fields and Neural Radiance Fields, have demonstrated significant capabilities for reconstructing surfaces with complicated geometry and topology, and generating novel views of a scene. Nevertheless, it is challenging for users to directly deform or manipulate these implicit representations with large deformations in the real-time fashion. Gaussian Splatting(GS) has recently become a promising method with explicit geometry for representing static scenes and facilitating high-quality and real-time synthesis of novel views. However,it cannot be easily deformed due to the use of discrete Gaussians and lack of explicit topology. To address this, we develop a novel GS-based method that enables interactive deformation. Our key idea is to design an innovative mesh-based GS representation, which is integrated into Gaussian learning and manipulation. 3D Gaussians are defined over an explicit mesh, and they are bound with each other: the rendering of 3D Gaussians guides the mesh face split for adaptive refinement, and the mesh face split directs the splitting of 3D Gaussians. Moreover, the explicit mesh constraints help regularize the Gaussian distribution, suppressing poor-quality Gaussians(e.g. misaligned Gaussians,long-narrow shaped Gaussians), thus enhancing visual quality and avoiding artifacts during deformation. Based on this representation, we further introduce a large-scale Gaussian deformation technique to enable deformable GS, which alters the parameters of 3D Gaussians according to the manipulation of the associated mesh. Our method benefits from existing mesh deformation datasets for more realistic data-driven Gaussian deformation. Extensive experiments show that our approach achieves high-quality reconstruction and effective deformation, while maintaining the promising rendering results at a high frame rate(65 FPS on average).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google