Let it Snow! Animating Static Gaussian Scenes With Dynamic Weather Effects

要約

3D Gaussian Splattingは最近、静的3Dシーンの高速かつフォトリアリックな再構築を可能にしました。
ただし、このような静的シーンと自然に相互作用する動的要素を導入することは依然として困難です。
したがって、物理的にベースのグローバルな気象効果を静的な3Dガウススプラットシーンに組み込むためのガウス粒子表現を組み合わせた新しいハイブリッドフレームワークを提示し、動的要素と静的シーンとの相互作用を正しく処理します。
3段階のプロセスに従います。まず、静的3Dガウスを粒子ベースの表現にマッピングします。
次に、動的粒子を導入し、マテリアルポイント法（MPM）を使用して動きをシミュレートします。
最後に、シミュレートされた粒子をガウスドメインに戻し、特定の効果に合わせた外観パラメーターを導入します。
動的要素と静的シーンとの相互作用を正しく処理するために、特殊な衝突処理手法を導入します。
私たちのアプローチは、降雪、降雨、霧、砂嵐など、さまざまな気象効果をサポートしており、すべての肉体的にもっともらしい動きと外観を持つ落下物をサポートできます。
実験は、我々の方法が視覚的品質と身体的リアリズムの両方で既存のアプローチを大幅に上回ることを示しています。

要約(オリジナル)

3D Gaussian Splatting has recently enabled fast and photorealistic reconstruction of static 3D scenes. However, introducing dynamic elements that interact naturally with such static scenes remains challenging. Accordingly, we present a novel hybrid framework that combines Gaussian-particle representations for incorporating physically-based global weather effects into static 3D Gaussian Splatting scenes, correctly handling the interactions of dynamic elements with the static scene. We follow a three-stage process: we first map static 3D Gaussians to a particle-based representation. We then introduce dynamic particles and simulate their motion using the Material Point Method (MPM). Finally, we map the simulated particles back to the Gaussian domain while introducing appearance parameters tailored for specific effects. To correctly handle the interactions of dynamic elements with the static scene, we introduce specialized collision handling techniques. Our approach supports a variety of weather effects, including snowfall, rainfall, fog, and sandstorms, and can also support falling objects, all with physically plausible motion and appearance. Experiments demonstrate that our method significantly outperforms existing approaches in both visual quality and physical realism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google