TexTile: A Differentiable Metric for Texture Tileability

要約

我々は、繰り返しアーティファクトを導入することなくテクスチャ画像をそれ自体と連結できる度合い（つまり、タイル化可能性）を定量化するための新しい微分可能なメトリックであるTexTileを紹介します。
タイル化可能なテクスチャ合成の既存の方法は、一般的なテクスチャ品質に焦点を当てていますが、テクスチャの固有の再現性特性の明示的な分析が不足しています。
対照的に、TexTile メトリクスはテクスチャのタイル化可能なプロパティを効果的に評価し、より情報に基づいたタイル化可能なテクスチャの合成と分析への扉を開きます。
内部では、TexTile は、さまざまなスタイル、セマンティクス、規則性、人間による注釈のテクスチャの大規模なデータセットから慎重に構築されたバイナリ分類器として定式化されます。私たちのメソッドの鍵となるのは、ベースラインの事前トレーニング画像分類器に対する一連のアーキテクチャ上の変更を克服することです。
タイル化可能性の測定における欠点と、堅牢性と精度の向上を目的としたカスタム データの拡張およびトレーニング体制を改善します。
私たちは、TexTile を拡散ベースの戦略を含むさまざまな最先端のテクスチャ合成方法にプラグインして、全体のテクスチャ品質を維持または向上させながらタイル化可能なテクスチャを生成できることを実証します。
さらに、TexTile はタイル化可能なテクスチャ合成方法を客観的に評価できるが、既存のメトリクスの現在の組み合わせでは相関のないスコアが生成され、この分野の進歩が大きく妨げられることを示します。

要約(オリジナル)

We introduce TexTile, a novel differentiable metric to quantify the degree upon which a texture image can be concatenated with itself without introducing repeating artifacts (i.e., the tileability). Existing methods for tileable texture synthesis focus on general texture quality, but lack explicit analysis of the intrinsic repeatability properties of a texture. In contrast, our TexTile metric effectively evaluates the tileable properties of a texture, opening the door to more informed synthesis and analysis of tileable textures. Under the hood, TexTile is formulated as a binary classifier carefully built from a large dataset of textures of different styles, semantics, regularities, and human annotations.Key to our method is a set of architectural modifications to baseline pre-train image classifiers to overcome their shortcomings at measuring tileability, along with a custom data augmentation and training regime aimed at increasing robustness and accuracy. We demonstrate that TexTile can be plugged into different state-of-the-art texture synthesis methods, including diffusion-based strategies, and generate tileable textures while keeping or even improving the overall texture quality. Furthermore, we show that TexTile can objectively evaluate any tileable texture synthesis method, whereas the current mix of existing metrics produces uncorrelated scores which heavily hinders progress in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google