MUNCH: Modelling Unique ‘N Controllable Heads

要約

3D 人体頭部の自動生成は、コンピュータ ビジョンの研究者にとって、興味深く、やりがいのある仕事でした。
一般的な方法では、リアルなアバターを合成しますが、レンダリングされた出力の多様性と品質の制御が限られており、キャラクターの形状とテクスチャ間の相関関係が限られているという問題があります。
私たちは、品質、多様性、制御、リアリズムを説明可能なネットワーク設計とともに提供する方法を提案します。これらはすべて、この分野のゲーム デザイン アーティストにとって望ましい機能です。
まず、私たちが提案するジオメトリ ジェネレーターは、もつれが解けた潜在的な方向を特定し、斬新で多様なサンプルを生成します。
次に、レンダー マップ ジェネレーターは、アルベド、光沢、鏡面反射光、法線などの高忠実度の物理ベースのレンダー マップを複数合成する方法を学習します。
出力をきめ細かく制御したいアーティストのために、生成されたマップのセマンティックなカラー制御を可能にする新しいカラー トランスフォーマー モデルを導入します。
また、独自性と新規性と呼ばれる定量化可能な指標と、モデルの全体的なパフォーマンスをテストするための複合指標も導入します。
形状とテクスチャの両方のデモは、https://munch-seven.vercel.app/ でご覧いただけます。
モデルを合成データセットとともにリリースします。

要約(オリジナル)

The automated generation of 3D human heads has been an intriguing and challenging task for computer vision researchers. Prevailing methods synthesize realistic avatars but with limited control over the diversity and quality of rendered outputs and suffer from limited correlation between shape and texture of the character. We propose a method that offers quality, diversity, control, and realism along with explainable network design, all desirable features to game-design artists in the domain. First, our proposed Geometry Generator identifies disentangled latent directions and generate novel and diverse samples. A Render Map Generator then learns to synthesize multiply high-fidelty physically-based render maps including Albedo, Glossiness, Specular, and Normals. For artists preferring fine-grained control over the output, we introduce a novel Color Transformer Model that allows semantic color control over generated maps. We also introduce quantifiable metrics called Uniqueness and Novelty and a combined metric to test the overall performance of our model. Demo for both shapes and textures can be found: https://munch-seven.vercel.app/. We will release our model along with the synthetic dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google