GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting

要約

近年、画像レンダリングのためのさまざまなニューラルネットワークベースの手法が導入されている。例えば、広く研究されている神経輝度場（NeRF）は、3Dシーンを表現するためにニューラルネットワークに依存しており、少数の2D画像から現実的なビュー合成を可能にする。しかし、ほとんどのNeRFモデルは、長い学習時間と推論時間に制約されている。これに比べ、ガウス・スプラッティング（GS）は、画像ピクセルへの寄与をガウス分布で近似することで、3Dシーン内の点をレンダリングする新しい最新技術であり、高速な学習と迅速なリアルタイムレンダリングを保証する。GSの欠点は、数十万個のガウス成分を条件付けする必要があるため、その条件付けのための明確なアプローチがないことである。これを解決するために、我々はメッシュとガウス分布のハイブリッドであるガウスメッシュスプラッティング（GaMeS）モデルを導入する。我々の手法のユニークな貢献は、メッシュ上の位置にのみ基づいてガウス・スプラットを定義することで、アニメーション中の位置、スケール、回転の自動調整を可能にすることである。その結果、高品質なビューのリアルタイム生成において、高品質なレンダリングが得られる。さらに、あらかじめ定義されたメッシュがない場合、学習プロセス中に初期メッシュを微調整することが可能であることを示す。

要約(オリジナル)

In recent years, a range of neural network-based methods for image rendering have been introduced. For instance, widely-researched neural radiance fields (NeRF) rely on a neural network to represent 3D scenes, allowing for realistic view synthesis from a small number of 2D images. However, most NeRF models are constrained by long training and inference times. In comparison, Gaussian Splatting (GS) is a novel, state-of-theart technique for rendering points in a 3D scene by approximating their contribution to image pixels through Gaussian distributions, warranting fast training and swift, real-time rendering. A drawback of GS is the absence of a well-defined approach for its conditioning due to the necessity to condition several hundred thousand Gaussian components. To solve this, we introduce Gaussian Mesh Splatting (GaMeS) model, a hybrid of mesh and a Gaussian distribution, that pin all Gaussians splats on the object surface (mesh). The unique contribution of our methods is defining Gaussian splats solely based on their location on the mesh, allowing for automatic adjustments in position, scale, and rotation during animation. As a result, we obtain high-quality renders in the real-time generation of high-quality views. Furthermore, we demonstrate that in the absence of a predefined mesh, it is possible to fine-tune the initial mesh during the learning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL