Deep Deformable 3D Caricatures with Learned Shape Control

要約

3D カリカチュアは、人間の顔を誇張して 3D で表現したものです。
このホワイト ペーパーの目的は、3D 似顔絵の変形を処理するための便利なデータ駆動型ツールキットを提供できるように、コンパクトなパラメーター空間で 3D 似顔絵のバリエーションをモデル化することです。
目標を達成するために、潜在的なコードを取り、3D サーフェスを生成する、変形可能なサーフェス モデルを構築するための MLP ベースのフレームワークを提案します。
フレームワークでは、SIREN MLP は、固定テンプレート サーフェス上の 3D 位置を取得し、入力位置の 3D 変位ベクトルを返す関数をモデル化します。
潜在的なコードを取得して MLP のパラメーターを生成するハイパーネットワークを学習することにより、3D サーフェスのバリエーションを作成します。
いったん学習すると、変形可能なモデルは 3D 似顔絵のための優れた編集スペースを提供し、ラベルベースのセマンティック編集とポイントハンドルベースの変形をサポートします。どちらも非常に誇張された自然な 3D 似顔絵の形状を生成します。
また、自動 3D 似顔絵作成など、変形可能なモデルの他のアプリケーションも示します。

要約(オリジナル)

A 3D caricature is an exaggerated 3D depiction of a human face. The goal of this paper is to model the variations of 3D caricatures in a compact parameter space so that we can provide a useful data-driven toolkit for handling 3D caricature deformations. To achieve the goal, we propose an MLP-based framework for building a deformable surface model, which takes a latent code and produces a 3D surface. In the framework, a SIREN MLP models a function that takes a 3D position on a fixed template surface and returns a 3D displacement vector for the input position. We create variations of 3D surfaces by learning a hypernetwork that takes a latent code and produces the parameters of the MLP. Once learned, our deformable model provides a nice editing space for 3D caricatures, supporting label-based semantic editing and point-handle-based deformation, both of which produce highly exaggerated and natural 3D caricature shapes. We also demonstrate other applications of our deformable model, such as automatic 3D caricature creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google