GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting

要約

近年、画像レンダリングのためのニューラル ネットワーク ベースのさまざまな方法が導入されています。
たとえば、広く研究されているニューラル放射輝度フィールド (NeRF) は、ニューラル ネットワークに依存して 3D シーンを表現し、少数の 2D 画像からリアルなビューの合成を可能にします。
ただし、ほとんどの NeRF モデルは、トレーニングと推論に長い時間がかかるという制約があります。
比較すると、ガウス スプラッティング (GS) は、ガウス分布を通じて画像ピクセルへの寄与を近似することにより、3D シーン内のポイントをレンダリングするための新しい最新技術であり、高速トレーニングと迅速なリアルタイム レンダリングを保証します。
GS の欠点は、数十万のガウス成分を調整する必要があるため、その調整のための明確に定義されたアプローチが存在しないことです。
これを解決するために、すべてのガウス スプラットをオブジェクト表面 (メッシュ) に固定する、メッシュとガウス分布のハイブリッドであるガウス メッシュ スプラッティング (GaMeS) モデルを導入します。
私たちのメソッドのユニークな貢献は、メッシュ上の位置のみに基づいてガウス スプラットを定義し、アニメーション中の位置、スケール、回転の自動調整を可能にすることです。
その結果、高品質のビューをリアルタイムに生成して高品質のレンダリングが得られます。
さらに、事前定義されたメッシュがない場合でも、学習プロセス中に初期メッシュを微調整できることを示します。

要約(オリジナル)

In recent years, a range of neural network-based methods for image rendering have been introduced. For instance, widely-researched neural radiance fields (NeRF) rely on a neural network to represent 3D scenes, allowing for realistic view synthesis from a small number of 2D images. However, most NeRF models are constrained by long training and inference times. In comparison, Gaussian Splatting (GS) is a novel, state-of-theart technique for rendering points in a 3D scene by approximating their contribution to image pixels through Gaussian distributions, warranting fast training and swift, real-time rendering. A drawback of GS is the absence of a well-defined approach for its conditioning due to the necessity to condition several hundred thousand Gaussian components. To solve this, we introduce Gaussian Mesh Splatting (GaMeS) model, a hybrid of mesh and a Gaussian distribution, that pin all Gaussians splats on the object surface (mesh). The unique contribution of our methods is defining Gaussian splats solely based on their location on the mesh, allowing for automatic adjustments in position, scale, and rotation during animation. As a result, we obtain high-quality renders in the real-time generation of high-quality views. Furthermore, we demonstrate that in the absence of a predefined mesh, it is possible to fine-tune the initial mesh during the learning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google