Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data

要約

リアルな影の生成は、高品質の画像合成と視覚効果にとって重要なコンポーネントですが、既存の方法には特定の制限があります。物理ベースのアプローチでは 3D シーンのジオメトリが必要ですが、これは利用できないことが多く、学習ベースの手法では制御と視覚化に苦労します。
人工物。
2D オブジェクト画像に対して、高速で制御可能で背景のないシャドウを生成する新しい方法を紹介します。
3D レンダリング エンジンを使用して大規模な合成データセットを作成し、制御可能な影の生成のための拡散モデルをトレーニングし、さまざまな光源パラメーターのシャドウ マップを生成します。
広範なアブレーション研究を通じて、整流対物レンズがたった 1 回のサンプリング ステップで高品質の結果を達成し、リアルタイム アプリケーションを可能にすることがわかりました。
さらに、私たちの実験は、モデルが現実世界の画像によく一般化することを示しています。
シャドウ生成の品質と制御性を評価するさらなる研究を促進するために、さまざまな設定でのオブジェクト イメージとシャドウ マップの多様なセットを含む新しい公開ベンチマークをリリースします。
プロジェクト ページは https://gojasper.github.io/controllable-shadow-generation-project/ から入手できます。

要約(オリジナル)

Realistic shadow generation is a critical component for high-quality image compositing and visual effects, yet existing methods suffer from certain limitations: Physics-based approaches require a 3D scene geometry, which is often unavailable, while learning-based techniques struggle with control and visual artifacts. We introduce a novel method for fast, controllable, and background-free shadow generation for 2D object images. We create a large synthetic dataset using a 3D rendering engine to train a diffusion model for controllable shadow generation, generating shadow maps for diverse light source parameters. Through extensive ablation studies, we find that rectified flow objective achieves high-quality results with just a single sampling step enabling real-time applications. Furthermore, our experiments demonstrate that the model generalizes well to real-world images. To facilitate further research in evaluating quality and controllability in shadow generation, we release a new public benchmark containing a diverse set of object images and shadow maps in various settings. The project page is available at https://gojasper.github.io/controllable-shadow-generation-project/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google