TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition

要約

スタイライゼーションによる 3D コンテンツの作成は、コンピューター ビジョンとグラフィックスの研究において有望でありながら困難な問題です。
この作業では、任意のトポロジの特定のサーフェス メッシュのフォトリアリスティックな外観レンダリングのスタイル設定に焦点を当てています。
Contrastive Language-Image Pre-training (CLIP) モデルのクロスモーダル監視の最近の急増に動機付けられて、テキスト プロンプトに従って特定の 3D 形状の外観スタイルをフォトリアリスティックな方法で転送する TANGO を提案します。
技術的には、空間的に変化する双方向反射率分布関数、局所的な幾何学的変化、および照明条件として外観スタイルを解きほぐすことを提案します。これらは、球状のガウス ベースの微分可能なレンダラーによって、CLIP 損失の監視を介して共同で最適化されます。
そのため、TANGO は、タスク固有のデータセットでトレーニングすることなく、むき出しの低品質のメッシュでも反射効果を自動的に予測することで、写真のようにリアルな 3D スタイルの転送を可能にします。
広範な実験により、TANGO は、写真のようにリアルな品質、3D ジオメトリの一貫性、および低品質のメッシュをスタイル化する際の堅牢性の点で、既存のテキスト駆動型 3D スタイル転送方法よりも優れていることが示されています。
コードと結果は、プロジェクトの Web ページ https://cyw-3d.github.io/tango/ で入手できます。

要約(オリジナル)

Creation of 3D content by stylization is a promising yet challenging problem in computer vision and graphics research. In this work, we focus on stylizing photorealistic appearance renderings of a given surface mesh of arbitrary topology. Motivated by the recent surge of cross-modal supervision of the Contrastive Language-Image Pre-training (CLIP) model, we propose TANGO, which transfers the appearance style of a given 3D shape according to a text prompt in a photorealistic manner. Technically, we propose to disentangle the appearance style as the spatially varying bidirectional reflectance distribution function, the local geometric variation, and the lighting condition, which are jointly optimized, via supervision of the CLIP loss, by a spherical Gaussians based differentiable renderer. As such, TANGO enables photorealistic 3D style transfer by automatically predicting reflectance effects even for bare, low-quality meshes, without training on a task-specific dataset. Extensive experiments show that TANGO outperforms existing methods of text-driven 3D style transfer in terms of photorealistic quality, consistency of 3D geometry, and robustness when stylizing low-quality meshes. Our codes and results are available at our project webpage https://cyw-3d.github.io/tango/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google