Near-realtime Facial Animation by Deep 3D Simulation Super-Resolution

要約

タイトル：ディープ3Dシミュレーションスーパーリゾリューションによるリアルタイム顔アニメーション

要約：
– 低コストでリアルタイムの物理ベースのシミュレーションで生成された顔のパフォーマンスを、より高い解像度のリファレンスクオリティオフラインシミュレータに近い詳細レベルに効率的かつ現実的に拡張するニューラルネットワークベースのシミュレーションスーパーリゾリューションフレームワークを提供します。
– フェイスアニメーションをシミュレーションドメインの代表として用いた場合、2つのシミュレータで同じ筋肉作動制御および骨格ポーズをダイアルインすることにより、意味的対応を持つトレーニングセットのペアのフレームをシミュレーションから構築することが可能です。
– ニューラルネットワークスーパーリゾリューションフレームワークは、このトレーニングセットから未知の表情に汎化し、リアルタイムバリアントでの限られた解像度またはコスト削減の近似による2つのシミュレーション間のモデリングの不一致を補償し、リアルタイムシミュレーションの結果以外の意味的記述子やパラメータを提供することは必要ありません。
– 当社のパイプラインの効果を多様な表現性パフォーマンスで評価し、提案されたスキームの妥当性のあるバリエーションや代替案に対する比較と抜粋実験を提供します。

要約(オリジナル)

We present a neural network-based simulation super-resolution framework that can efficiently and realistically enhance a facial performance produced by a low-cost, realtime physics-based simulation to a level of detail that closely approximates that of a reference-quality off-line simulator with much higher resolution (26x element count in our examples) and accurate physical modeling. Our approach is rooted in our ability to construct – via simulation – a training set of paired frames, from the low- and high-resolution simulators respectively, that are in semantic correspondence with each other. We use face animation as an exemplar of such a simulation domain, where creating this semantic congruence is achieved by simply dialing in the same muscle actuation controls and skeletal pose in the two simulators. Our proposed neural network super-resolution framework generalizes from this training set to unseen expressions, compensates for modeling discrepancies between the two simulations due to limited resolution or cost-cutting approximations in the real-time variant, and does not require any semantic descriptors or parameters to be provided as input, other than the result of the real-time simulation. We evaluate the efficacy of our pipeline on a variety of expressive performances and provide comparisons and ablation experiments for plausible variations and alternatives to our proposed scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI