3D Generative Model Latent Disentanglement via Local Eigenprojection

要約

リアルなデジタル ヒューマンの設計は非常に複雑です。
基礎となる幾何学的形状の作成を簡素化するために使用されるほとんどのデータ駆動型生成モデルは、ローカル形状属性の生成を制御できません。
このホワイト ペーパーでは、スペクトル ジオメトリに基づいており、3D の頭と体のメッシュのさまざまなニューラル ネットワーク ベースの生成モデルに適用できる新しい損失関数を導入することで、この制限を克服します。
メッシュ変分オートエンコーダー (VAE) または敵対的生成ネットワーク (GAN) の潜在変数がアイデンティティー属性のローカル固有射影に従うことを奨励することで、潜在的なもつれの解消を改善し、属性の作成を適切に分離します。
実験結果は、私たちのローカル固有射影の絡み合い解消 (LED) モデルは、最新技術に対して改善された絡み合い解消を提供するだけでなく、モデルのバニラ実装に匹敵するトレーニング時間で優れた生成機能を維持することも示しています。

要約(オリジナル)

Designing realistic digital humans is extremely complex. Most data-driven generative models used to simplify the creation of their underlying geometric shape do not offer control over the generation of local shape attributes. In this paper, we overcome this limitation by introducing a novel loss function grounded in spectral geometry and applicable to different neural-network-based generative models of 3D head and body meshes. Encouraging the latent variables of mesh variational autoencoders (VAEs) or generative adversarial networks (GANs) to follow the local eigenprojections of identity attributes, we improve latent disentanglement and properly decouple the attribute creation. Experimental results show that our local eigenprojection disentangled (LED) models not only offer improved disentanglement with respect to the state-of-the-art, but also maintain good generation capabilities with training times comparable to the vanilla implementations of the models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google