Generating Non-Stationary Textures using Self-Rectification

要約

この論文では、サンプルベースの非定常テクスチャ合成の課題に取り組みます。
私たちは、ユーザーが最初に標準の画像編集ツールを使用して参照テクスチャを変更し、合成のための最初の大まかなターゲットを生成する、新しい 2 段階のアプローチを導入します。
その後、「自己修正」と呼ばれる私たちの提案した方法は、参照見本の明確な視覚的特徴を忠実に保ちながら、このターゲットを一貫したシームレスなテクスチャに自動的に洗練します。
私たちの方法では、事前にトレーニングされた拡散ネットワークを活用し、セルフ アテンション メカニズムを使用して、合成されたテクスチャをリファレンスと徐々に位置合わせし、提供されたターゲット内の構造の保持を保証します。
実験的な検証を通じて、私たちのアプローチは非定常テクスチャの処理において並外れた熟練度を示し、既存の最先端技術と比較した場合にテクスチャ合成における大幅な進歩を実証しました。
コードは https://github.com/xiaorongjun000/Self-Rectification で入手できます。

要約(オリジナル)

This paper addresses the challenge of example-based non-stationary texture synthesis. We introduce a novel twostep approach wherein users first modify a reference texture using standard image editing tools, yielding an initial rough target for the synthesis. Subsequently, our proposed method, termed ‘self-rectification’, automatically refines this target into a coherent, seamless texture, while faithfully preserving the distinct visual characteristics of the reference exemplar. Our method leverages a pre-trained diffusion network, and uses self-attention mechanisms, to gradually align the synthesized texture with the reference, ensuring the retention of the structures in the provided target. Through experimental validation, our approach exhibits exceptional proficiency in handling non-stationary textures, demonstrating significant advancements in texture synthesis when compared to existing state-of-the-art techniques. Code is available at https://github.com/xiaorongjun000/Self-Rectification

arxiv情報

提供元, 利用サービス

arxiv.jp, Google