ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling

要約

タイトル：3D顔モデリングのための適応的スキニングモデル（ASM）

要約：
– 顔パラメトリックモデルおよび3D顔再構築の研究分野が広く研究されている。
– 課題は、「特定の再構築設定に合わせた顔モデルをどうやって適応するか？」という点。
– 複数のビューで較正されていない画像を使用した再構築は新しいモデルの強力な能力を要求すると考えられる。
– データ依存型の3D Morphable Models(3DMM)から、注意を人間が設計したスキニングモデルに移す。
– ASMは、よりコンパクトかつ完全に調整可能なスキニングモデルを再定義し、3DMMよりも大幅に改善された能力を持つことを示す広範な実験をする。
– 運動学的枠組みに基づくASMにより、多様なトポロジに容易に適応できる大規模な物理-意味パラメータのあるモデルを提供することで、多視点再構築のための最新のベンチマークパフォーマンスを達成する。
– ASMは、リアルタイム処理とインゲームアバターコンテンツの生成に大きな利点を提供する。

要約(オリジナル)

The research fields of parametric face models and 3D face reconstruction have been extensively studied. However, a critical question remains unanswered: how to tailor the face model for specific reconstruction settings. We argue that reconstruction with multi-view uncalibrated images demands a new model with stronger capacity. Our study shifts attention from data-dependent 3D Morphable Models (3DMM) to an understudied human-designed skinning model. We propose Adaptive Skinning Model (ASM), which redefines the skinning model with more compact and fully tunable parameters. With extensive experiments, we demonstrate that ASM achieves significantly improved capacity than 3DMM, with the additional advantage of model size and easy implementation for new topology. We achieve state-of-the-art performance with ASM for multi-view reconstruction on the Florence MICC Coop benchmark. Our quantitative analysis demonstrates the importance of a high-capacity model for fully exploiting abundant information from multi-view input in reconstruction. Furthermore, our model with physical-semantic parameters can be directly utilized for real-world applications, such as in-game avatar creation. As a result, our work opens up new research directions for the parametric face models and facilitates future research on multi-view reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI