Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering

要約

ニューラルの再パラメータ化テクスチャ最適化による 3D メッシュ用のテキスト駆動の高忠実度テクスチャ マップ合成手法である Paint-it を紹介します。
Paint-it は、Score-Distillation Sampling (SDS) を利用して、合成による最適化によってテキストの説明からテクスチャ マップを合成します。
SDS を直接適用すると、ノイズの多い勾配により望ましくないテクスチャ品質が生じることが観察されています。
SDS を使用する場合のテクスチャ パラメータ化の重要性を明らかにします。
具体的には、標準的なピクセルベースのパラメータ化の代わりに、ランダムに初期化された畳み込みベースのニューラル カーネルを使用して物理ベース レンダリング (PBR) テクスチャ マップを再パラメータ化する、深層畳み込み物理ベース レンダリング (DC-PBR) パラメータ化を提案します。
DC-PBR は本質的にテクスチャ周波数に従って最適化カリキュラムをスケジュールし、SDS からのノイズの多い信号を自然にフィルターで除去することを示します。
実験では、Paint-it はテキストによる説明だけを与えて、15 分以内に驚くべき品質の PBR テクスチャ マップを取得しました。
大規模なメッシュ データセット用に高品質のテクスチャ マップを合成し、一般的なグラフィック エンジンを使用した再ライティングやマテリアル制御などのテスト時アプリケーションを示すことで、ペイント イットの一般化可能性と実用性を実証します。
プロジェクトページ: https://kim-youwang.github.io/paint-it

要約(オリジナル)

We present Paint-it, a text-driven high-fidelity texture map synthesis method for 3D meshes via neural re-parameterized texture optimization. Paint-it synthesizes texture maps from a text description by synthesis-through-optimization, exploiting the Score-Distillation Sampling (SDS). We observe that directly applying SDS yields undesirable texture quality due to its noisy gradients. We reveal the importance of texture parameterization when using SDS. Specifically, we propose Deep Convolutional Physically-Based Rendering (DC-PBR) parameterization, which re-parameterizes the physically-based rendering (PBR) texture maps with randomly initialized convolution-based neural kernels, instead of a standard pixel-based parameterization. We show that DC-PBR inherently schedules the optimization curriculum according to texture frequency and naturally filters out the noisy signals from SDS. In experiments, Paint-it obtains remarkable quality PBR texture maps within 15 min., given only a text description. We demonstrate the generalizability and practicality of Paint-it by synthesizing high-quality texture maps for large-scale mesh datasets and showing test-time applications such as relighting and material control using a popular graphics engine. Project page: https://kim-youwang.github.io/paint-it

arxiv情報

提供元, 利用サービス

arxiv.jp, Google