EASI-Tex: Edge-Aware Mesh Texturing from Single Image

要約

我々は、単一イメージ メッシュ テクスチャリングのための新しいアプローチを提案します。これは、オブジェクトのテクスチャを単一の RGB イメージから特定の 3D メッシュ オブジェクトにシームレスに転送するための賢明な調整を備えた拡散モデルを採用します。
私たちは 2 つのオブジェクトが同じカテゴリに属する​​とは想定していません。また、たとえ同じカテゴリに属しているとしても、それらの形状や部品の比率に大きな不一致が存在する可能性があります。
私たちの方法は、ControlNet を介してメッシュを記述するエッジを備えた事前トレーニング済みの安定拡散ジェネレーターを調整し、IP アダプターを使用して入力画像から抽出された特徴を調整して、メッシュの基礎となるジオメトリと入力テクスチャを尊重するテクスチャを生成することで、不一致を修正することを目的としています。
最適化やトレーニングなしで。
また、事前トレーニングされた IP アダプターでは入力画像からすべての詳細を忠実にキャプチャできない場合に備えて、単一の画像を使用して単一の概念の拡散モデルを迅速にパーソナライズする新しい手法である画像反転も紹介します。
実験結果は、さまざまな 3D オブジェクトのジオメトリを尊重しながら入力テクスチャの詳細を保存する際の、エッジを意識した単一画像メッシュ テクスチャリング アプローチ (EASI-Tex という造語) の効率と有効性を示しています。

要約(オリジナル)

We present a novel approach for single-image mesh texturing, which employs a diffusion model with judicious conditioning to seamlessly transfer an object’s texture from a single RGB image to a given 3D mesh object. We do not assume that the two objects belong to the same category, and even if they do, there can be significant discrepancies in their geometry and part proportions. Our method aims to rectify the discrepancies by conditioning a pre-trained Stable Diffusion generator with edges describing the mesh through ControlNet, and features extracted from the input image using IP-Adapter to generate textures that respect the underlying geometry of the mesh and the input texture without any optimization or training. We also introduce Image Inversion, a novel technique to quickly personalize the diffusion model for a single concept using a single image, for cases where the pre-trained IP-Adapter falls short in capturing all the details from the input image faithfully. Experimental results demonstrate the efficiency and effectiveness of our edge-aware single-image mesh texturing approach, coined EASI-Tex, in preserving the details of the input texture on diverse 3D objects, while respecting their geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google