High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering

要約

簡単に編集可能なメッシュ ブレンドシェイプはアニメーション パイプラインで広く使用されていますが、最近のニューラル ジオメトリと外観表現の進歩により、高品質の逆レンダリングが可能になりました。
これらの観察に基づいて、最先端のニューラル インバース レンダリングを活用して、単一またはまばらなマルチビュー ビデオからメッシュ ベースのブレンドシェイプ リグを再構築する新しい手法を導入します。
まず、頂点変位を四面体接続の差分座標にパラメータ化する変形表現を構築し、高解像度メッシュ上で高品質な頂点変形を可能にします。
この表現で一連の意味論的規制を構築することにより、ブレンドシェイプと表現係数の共同最適化を実現します。
さらに、非同期カメラを使用したユーザーフレンドリーなマルチビューセットアップを可能にするために、時間とともに変化するモーションパラメータをモデル化するニューラルリグレッサーを提案します。
このアプローチでは、複数のカメラ間の時間差が暗黙的に考慮され、モーション モデリングの精度が向上します。
実験では、単一またはまばらなマルチビュー ビデオの柔軟な入力により、パーソナライズされた忠実度の高いブレンドシェイプを再構築できることが実証されています。
これらのブレンドシェイプは幾何学的にも意味的にも正確で、工業用アニメーション パイプラインと互換性があります。
コードとデータは公開されます。

要約(オリジナル)

Readily editable mesh blendshapes have been widely used in animation pipelines, while recent advancements in neural geometry and appearance representations have enabled high-quality inverse rendering. Building upon these observations, we introduce a novel technique that reconstructs mesh-based blendshape rigs from single or sparse multi-view videos, leveraging state-of-the-art neural inverse rendering. We begin by constructing a deformation representation that parameterizes vertex displacements into differential coordinates with tetrahedral connections, allowing for high-quality vertex deformation on high-resolution meshes. By constructing a set of semantic regulations in this representation, we achieve joint optimization of blendshapes and expression coefficients. Furthermore, to enable a user-friendly multi-view setup with unsynchronized cameras, we propose a neural regressor to model time-varying motion parameters. This approach implicitly considers the time difference across multiple cameras, enhancing the accuracy of motion modeling. Experiments demonstrate that, with the flexible input of single or sparse multi-view videos, we reconstruct personalized high-fidelity blendshapes. These blendshapes are both geometrically and semantically accurate, and they are compatible with industrial animation pipelines. Code and data will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google