Scene-Conditional 3D Object Stylization and Composition

要約

最近、3D 生成モデルは目覚ましい進歩を遂げ、テキストまたは画像入力からほぼ任意の 3D アセットを生成できるようになりました。
ただし、これらのアプローチは、オブジェクトが最終的に配置されるシーンを考慮せずに、オブジェクトを単独で生成します。
このペーパーでは、既存の 3D アセットの様式化を特定の 2D シーンに適合させ、さらにアセットが環境内に配置されているかのようなフォトリアリスティックな構成を生成できるフレームワークを提案します。
これにより、オブジェクトのスタイル設定に新たなレベルの制御が開かれるだけでなく、たとえば、同じアセットを夏から冬、ファンタジーと未来の設定などの環境の変化を反映するようにスタイル設定できるだけでなく、オブジェクトとシーンの構成をより詳細なものにすることもできます。
制御可能。
これは、事前にトレーニングされたテキストから画像への拡散モデルからの画像事前分布を使用した微分可能レイ トレーシングを通じて、オブジェクトのテクスチャと環境照明のモデリングと最適化を組み合わせることで実現します。
私たちの方法が屋内外のさまざまなシーンや任意の物体に適用できることを示します。

要約(オリジナル)

Recently, 3D generative models have made impressive progress, enabling the generation of almost arbitrary 3D assets from text or image inputs. However, these approaches generate objects in isolation without any consideration for the scene where they will eventually be placed. In this paper, we propose a framework that allows for the stylization of an existing 3D asset to fit into a given 2D scene, and additionally produce a photorealistic composition as if the asset was placed within the environment. This not only opens up a new level of control for object stylization, for example, the same assets can be stylized to reflect changes in the environment, such as summer to winter or fantasy versus futuristic settings-but also makes the object-scene composition more controllable. We achieve this by combining modeling and optimizing the object’s texture and environmental lighting through differentiable ray tracing with image priors from pre-trained text-to-image diffusion models. We demonstrate that our method is applicable to a wide variety of indoor and outdoor scenes and arbitrary objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google