RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting

要約

物理的に修正された方法で、動的な雨効果を野生のシーンに追加する問題を考慮します。
シーンモデリングの最近の進歩は大きな進歩を遂げており、NERFおよび3DGSテクニックは複雑なシーンを再構築するための強力なツールとして浮上しています。
ただし、新しいビュー合成には効果的ですが、これらの方法は通常、物理ベースの雨シミュレーションなどのタスクを編集する挑戦的なシーンに苦労しています。
対照的に、従来の物理学ベースのシミュレーションは、雨滴やスプラッシュなどの現実的な雨の効果を生成する可能性がありますが、多くの場合、熟練したアーティストに頼って高忠実度のシーンを慎重に設定します。
このプロセスには、柔軟性とスケーラビリティが欠けており、その適用性をより広範なオープンワールド環境に制限します。
この作業では、物理学ベースのモデリングと3DGの両方の強度を活用して、オープンワールドシーンで物理的な精度を持ってフォトリアリスティックでダイナミックな雨効果を生成する新しいアプローチであるRainygsを紹介します。
私たちの方法の中核は、高速3DGSレンダリングフレームワーク内の物理ベースの雨滴と浅い水シミュレーション技術の統合であり、雨滴の挙動、スプラッシュ、および反射の現実的で効率的なシミュレーションを可能にします。
私たちの方法は、30 fpsを超える雨の効果の合成をサポートし、ユーザーが軽い霧雨から激しい土砂降りまで、雨の強度を柔軟に制御できるようにします。
Rainygsは、現実世界の屋外シーンと大規模な運転シナリオの両方で効果的に機能し、最新の方法と比較してより多くのフォトリアリスティックで身体的にacccurate雨の雨効果を提供することを実証します。
プロジェクトページはhttps://pku-vcl-geometry.github.io/rainygs/にあります

要約(オリジナル)

We consider the problem of adding dynamic rain effects to in-the-wild scenes in a physically-correct manner. Recent advances in scene modeling have made significant progress, with NeRF and 3DGS techniques emerging as powerful tools for reconstructing complex scenes. However, while effective for novel view synthesis, these methods typically struggle with challenging scene editing tasks, such as physics-based rain simulation. In contrast, traditional physics-based simulations can generate realistic rain effects, such as raindrops and splashes, but they often rely on skilled artists to carefully set up high-fidelity scenes. This process lacks flexibility and scalability, limiting its applicability to broader, open-world environments. In this work, we introduce RainyGS, a novel approach that leverages the strengths of both physics-based modeling and 3DGS to generate photorealistic, dynamic rain effects in open-world scenes with physical accuracy. At the core of our method is the integration of physically-based raindrop and shallow water simulation techniques within the fast 3DGS rendering framework, enabling realistic and efficient simulations of raindrop behavior, splashes, and reflections. Our method supports synthesizing rain effects at over 30 fps, offering users flexible control over rain intensity — from light drizzles to heavy downpours. We demonstrate that RainyGS performs effectively for both real-world outdoor scenes and large-scale driving scenarios, delivering more photorealistic and physically-accurate rain effects compared to state-of-the-art methods. Project page can be found at https://pku-vcl-geometry.github.io/RainyGS/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google