ITEM3D: Illumination-Aware Directional Texture Editing for 3D Models

要約

テクスチャ編集は、ユーザーが 3D モデルの表面マテリアルを自動的に操作できるようにする、3D モデリングにおける重要なタスクです。
ただし、3D モデル固有の複雑さとあいまいなテキスト説明により、このタスクは困難になります。
この課題に対処するために、テキスト プロンプトに従って 3D オブジェクトを自動編集するための照明認識モデルである ITEM3D を提案します。
ITEM3D は、拡散モデルと微分可能なレンダリングを活用して、レンダリングされたイメージをテキストと 3D 表現の橋渡しとして利用し、解きほぐされたテクスチャと環境マップをさらに最適化します。
以前の方法では、絶対的な編集方向、つまりスコア蒸留サンプリング (SDS) を最適化の目的として採用していましたが、残念ながら、ノイズの多い外観とテキストの不一致が発生しました。
あいまいなテキストによって引き起こされる問題を解決するために、テキストと画像の間の意味上のあいまいさを解放するために、ソーステキストとターゲットテキスト間のノイズの差によって定義される最適化目標である相対的な編集方向を導入します。
さらに、テクスチャ ドメインの予期せぬ偏差にさらに対処するために、最適化中に方向を徐々に調整します。
定性的および定量的な実験により、当社の ITEM3D はさまざまな 3D オブジェクトに対して最先端の方法よりも優れたパフォーマンスを発揮することが示されています。
また、テキストガイドによる再照明も実行して、照明の明示的な制御を示します。

要約(オリジナル)

Texture editing is a crucial task in 3D modeling that allows users to automatically manipulate the surface materials of 3D models. However, the inherent complexity of 3D models and the ambiguous text description lead to the challenge in this task. To address this challenge, we propose ITEM3D, an illumination-aware model for automatic 3D object editing according to the text prompts. Leveraging the diffusion models and the differentiable rendering, ITEM3D takes the rendered images as the bridge of text and 3D representation, and further optimizes the disentangled texture and environment map. Previous methods adopt the absolute editing direction namely score distillation sampling (SDS) as the optimization objective, which unfortunately results in the noisy appearance and text inconsistency. To solve the problem caused by the ambiguous text, we introduce a relative editing direction, an optimization objective defined by the noise difference between the source and target texts, to release the semantic ambiguity between the texts and images. Additionally, we gradually adjust the direction during optimization to further address the unexpected deviation in the texture domain. Qualitative and quantitative experiments show that our ITEM3D outperforms the state-of-the-art methods on various 3D objects. We also perform text-guided relighting to show explicit control over lighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google