Generative Escher Meshes

要約

この論文では、床、モザイク、陶器、M.C. の作品などに見られるような、周期的で繰り返しのタイル可能な 2D アートを生成するための、全自動のテキストガイドによる生成方法を提案します。
エッシャー。
シームレス テクスチャの標準的な概念、つまりタイル化されたときにシームレスな正方形の画像とは対照的に、私たちの方法では、同じオブジェクトの繰り返しコピーのみで構成される非正方形のタイル化が生成されます。
これは、背景の詳細​​をほとんど追加せずに、目的のオブジェクトの形状と外観で非正方形のタイルを生成するために、2D メッシュのジオメトリと色の両方を最適化することでこれを実現します。
当社は、重要な技術的貢献、つまり、特定の対称グループに対して可能なすべてのタイル化可能な形状の空間の制約のない微分可能なパラメータ化によって、タイリングの幾何学的最適化を可能にします。
つまり、2D メッシュ マッピング手法 (Orbifold Tutte Embedding) で使用されるラプラシアンを変更すると、選択した平面対称グループに対して可能なすべてのタイリング構成を実現できることを証明します。
したがって、メッシュのタイル形状とそのテクスチャの両方を最適化可能なパラメータとして考慮し、微分可能なレンダラーを介してテクスチャ付きメッシュをレンダリングします。
トレーニングされた画像拡散モデルを利用して、結果の画像の損失を定義し、それによってテキスト プロンプトと一致する外観に基づいてメッシュのパラメーターを更新します。
私たちの方法が、さまざまな異なる周期的タイリング パターンに対して、自明ではないタイルを使用して、もっともらしく魅力的な結果を生成できることを示します。

要約(オリジナル)

This paper proposes a fully-automatic, text-guided generative method for producing periodic, repeating, tile-able 2D art, such as the one seen on floors, mosaics, ceramics, and the work of M.C. Escher. In contrast to the standard concept of a seamless texture, i.e., square images that are seamless when tiled, our method generates non-square tilings which comprise solely of repeating copies of the same object. It achieves this by optimizing both geometry and color of a 2D mesh, in order to generate a non-square tile in the shape and appearance of the desired object, with close to no additional background details. We enable geometric optimization of tilings by our key technical contribution: an unconstrained, differentiable parameterization of the space of all possible tileable shapes for a given symmetry group. Namely, we prove that modifying the laplacian used in a 2D mesh-mapping technique – Orbifold Tutte Embedding – can achieve all possible tiling configurations for a chosen planar symmetry group. We thus consider both the mesh’s tile-shape and its texture as optimizable parameters, rendering the textured mesh via a differentiable renderer. We leverage a trained image diffusion model to define a loss on the resulting image, thereby updating the mesh’s parameters based on its appearance matching the text prompt. We show our method is able to produce plausible, appealing results, with non-trivial tiles, for a variety of different periodic tiling patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google