Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

要約

私たちは、複雑な 3D 効果をリアルタイムで高品質にレンダリングおよび編集するための新しいメッシュベースの表現であるガウス フロスティングを提案します。
私たちのアプローチは、画像から放射輝度フィールドを近似するために一連の 3D ガウスを最適化する、最近の 3D ガウス スプラッティング フレームワークに基づいています。
まず、最適化中にガウスからベース メッシュを抽出し、次に、髪や草などの表面近くの微細なディテールや体積効果をより適切に捕捉するために、メッシュの周囲に可変の厚さを持つガウスの適応層を構築および調整することを提案します。
ケーキのフロスティングのコーティングに似ているため、このレイヤーをガウスフロスティングと呼びます。
素材が毛羽立つほど、フロスティングは厚くなります。
また、ガウスのパラメータ化を導入して、ガウスがフロスティング レイヤー内に留まるように強制し、メッシュの変形、再スケール、編集、アニメーション化の際にパラメータを自動的に調整します。
私たちの表現では、ガウス スプラッティングを使用した効率的なレンダリングだけでなく、ベース メッシュを変更することによる編集やアニメーションも可能になります。
さまざまな合成シーンや実際のシーンでこの方法の有効性を実証し、既存のサーフェスベースのアプローチよりも優れていることを示します。
追加の貢献として、コードと Web ベースのビューアをリリースする予定です。
私たちのプロジェクト ページは次のとおりです: https://anttwo.github.io/frosting/

要約(オリジナル)

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google