Scene-Conditional 3D Object Stylization and Composition

要約

最近、3D生成モデルは印象的な進歩を遂げ、テキストまたは画像入力からほぼ任意の3Dアセットの生成を可能にしました。
ただし、これらのアプローチは、最終的に配置されるシーンを考慮せずに、単独でオブジェクトを生成します。
この論文では、既存の3Dアセットの様式化が特定の2Dシーンに収まるようにするフレームワークを提案し、さらに資産が環境内に配置されているかのようにフォトリアリスティックな構成を生成します。
これは、オブジェクトスタイリゼーションの新しいレベルの制御を開くだけでなく、たとえば、夏から冬からファンタジー対未来的な設定など、環境の変化を反映するために同じ資産を様式化することができますが、オブジェクトシーンの構成はより制御可能になります。
これは、モデリングを組み合わせて、事前に訓練されたテキストから画像への拡散モデルからの画像プライアーを使用した微分可能な光線を介して、オブジェクトのテクスチャと環境照明を最適化することで実現します。
私たちの方法は、さまざまな屋内および屋外のシーンや任意のオブジェクトに適用できることを実証します。
プロジェクトページ：https：//jensenzhoujh.github.io/scene-cond-3d/。

要約(オリジナル)

Recently, 3D generative models have made impressive progress, enabling the generation of almost arbitrary 3D assets from text or image inputs. However, these approaches generate objects in isolation without any consideration for the scene where they will eventually be placed. In this paper, we propose a framework that allows for the stylization of an existing 3D asset to fit into a given 2D scene, and additionally produce a photorealistic composition as if the asset was placed within the environment. This not only opens up a new level of control for object stylization, for example, the same assets can be stylized to reflect changes in the environment, such as summer to winter or fantasy versus futuristic settings-but also makes the object-scene composition more controllable. We achieve this by combining modeling and optimizing the object’s texture and environmental lighting through differentiable ray tracing with image priors from pre-trained text-to-image diffusion models. We demonstrate that our method is applicable to a wide variety of indoor and outdoor scenes and arbitrary objects. Project page: https://jensenzhoujh.github.io/scene-cond-3d/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google