Mesh Neural Cellular Automata

要約

テクスチャのモデリングと合成は、仮想環境のリアリズムを高めるために不可欠です。
3D でテクスチャを直接合成する方法は、シームレスなテクスチャを作成し、自然界でのテクスチャの形成方法により厳密に一致させることができるため、UV マッピング ベースの方法に明確な利点をもたらします。
我々は、UV マップを必要とせずに 3D メッシュ上に動的テクスチャを直接合成する手法である Mesh Neural Cellular Automata (MeshNCA) を提案します。
MeshNCA は、3D メッシュの頂点などの非グリッド構造上に配置された一連のセルを操作できる、一般化されたタイプのセル オートマトンです。
MeshNCA はマルチモーダル監視に対応し、画像、テキスト プロンプト、動きベクトル フィールドなどのさまざまなターゲットを使用してトレーニングできます。
Icosphere メッシュ上でのみトレーニングされた MeshNCA は、テスト時の顕著な一般化を示し、目に見えないメッシュ上にリアルタイムでテクスチャを合成できます。
私たちは定性的および定量的な比較を行って、一般化と高品質のテクスチャの生成の点で MeshNCA が他の 3D テクスチャ合成方法よりも優れていることを実証します。
さらに、トレーニングされた MeshNCA インスタンスをグラフトする方法を導入し、テクスチャ間の補間を可能にします。
MeshNCA では、テクスチャ密度/方向制御、グラフト/再生成ブラシ、モーション速度/方向制御など、いくつかのユーザー インタラクションが可能です。
最後に、WebGL シェーディング言語を使用して MeshNCA モデルのフォワード パスを実装し、オンライン インタラクティブ デモでトレーニング済みモデルを紹介します。このデモはパーソナル コンピューターやスマートフォンでアクセスでき、https://meshnca.github.io から入手できます。

要約(オリジナル)

Texture modeling and synthesis are essential for enhancing the realism of virtual environments. Methods that directly synthesize textures in 3D offer distinct advantages to the UV-mapping-based methods as they can create seamless textures and align more closely with the ways textures form in nature. We propose Mesh Neural Cellular Automata (MeshNCA), a method that directly synthesizes dynamic textures on 3D meshes without requiring any UV maps. MeshNCA is a generalized type of cellular automata that can operate on a set of cells arranged on non-grid structures such as the vertices of a 3D mesh. MeshNCA accommodates multi-modal supervision and can be trained using different targets such as images, text prompts, and motion vector fields. Only trained on an Icosphere mesh, MeshNCA shows remarkable test-time generalization and can synthesize textures on unseen meshes in real time. We conduct qualitative and quantitative comparisons to demonstrate that MeshNCA outperforms other 3D texture synthesis methods in terms of generalization and producing high-quality textures. Moreover, we introduce a way of grafting trained MeshNCA instances, enabling interpolation between textures. MeshNCA allows several user interactions including texture density/orientation controls, grafting/regenerate brushes, and motion speed/direction controls. Finally, we implement the forward pass of our MeshNCA model using the WebGL shading language and showcase our trained models in an online interactive demo, which is accessible on personal computers and smartphones and is available at https://meshnca.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google