Controllable Weather Synthesis and Removal with Video Diffusion Models

要約

ビデオで現実的で制御可能な気象効果を生成することは、多くのアプリケーションにとって価値があります。
物理学ベースの気象シミュレーションには、ワイルドのビデオに拡大するのが難しい正確な再構成が必要ですが、現在のビデオ編集にはリアリズムとコントロールが欠けていることがよくあります。
この作業では、雨、雪、霧、雲などの多様な気象効果を合成するビデオ拡散モデルであるWeatherWeaverを、3Dモデリングを必要とせずに入力ビデオに直接紹介します。
私たちのモデルは、気象効果の強度を正確に制御し、さまざまな気象タイプのブレンドをサポートし、リアリズムと適応性の両方を確保します。
ペアのトレーニングデータの希少性を克服するために、合成ビデオ、生成画像編集、自動ラベルの実世界ビデオを組み合わせた新しいデータ戦略を提案します。
広範な評価により、私たちの方法は、気象シミュレーションと除去における最先端の方法よりも優れており、さまざまな現実世界のビデオで高品質で物理的にもっともらしい、シーンアイデンティティが提供する結果を提供します。

要約(オリジナル)

Generating realistic and controllable weather effects in videos is valuable for many applications. Physics-based weather simulation requires precise reconstructions that are hard to scale to in-the-wild videos, while current video editing often lacks realism and control. In this work, we introduce WeatherWeaver, a video diffusion model that synthesizes diverse weather effects — including rain, snow, fog, and clouds — directly into any input video without the need for 3D modeling. Our model provides precise control over weather effect intensity and supports blending various weather types, ensuring both realism and adaptability. To overcome the scarcity of paired training data, we propose a novel data strategy combining synthetic videos, generative image editing, and auto-labeled real-world videos. Extensive evaluations show that our method outperforms state-of-the-art methods in weather simulation and removal, providing high-quality, physically plausible, and scene-identity-preserving results over various real-world videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google