REALY: Rethinking the Evaluation of 3D Face Reconstruction

要約

3D顔再構成の結果の評価は、通常、推定された3Dモデルとグラウンドトゥルーススキャンの間の厳密な形状の位置合わせに依存します。
2つの形状を異なる基準点に合わせると、評価結果に大きな影響を与える可能性があることがわかります。
これは、3D顔再構成法を正確に診断および改善するのに困難をもたらします。
この論文では、新しいベンチマークREALYを使用した新しい評価アプローチを提案します。これは、正確な顔のキーポイント、高品質の領域マスク、およびトポロジ整合性のあるメッシュを使用した100個のグローバルに位置合わせされた顔スキャンで構成されます。
私たちのアプローチは、領域ごとの形状アライメントを実行し、形状エラーの計算中に、より正確な双方向の対応をもたらします。
きめ細かい、地域ごとの評価結果は、最先端の3D顔再構成法のパフォーマンスに関する詳細な理解を提供します。
たとえば、単一画像ベースの再構成法に関する実験では、DECAは鼻の領域で最高のパフォーマンスを発揮し、GANFitは頬の領域で最高のパフォーマンスを発揮することがわかりました。
さらに、新しい高品質の3DMMベースであるHIFI3D ++は、REALYを構築して複数の3D顔データセットを整列および再トポロジ化するのと同じ手順を使用して、さらに派生します。
https://realy3dface.comで、REALY、HIFI3D ++、および新しい評価パイプラインをリリースします。

要約(オリジナル)

The evaluation of 3D face reconstruction results typically relies on a rigid shape alignment between the estimated 3D model and the ground-truth scan. We observe that aligning two shapes with different reference points can largely affect the evaluation results. This poses difficulties for precisely diagnosing and improving a 3D face reconstruction method. In this paper, we propose a novel evaluation approach with a new benchmark REALY, consists of 100 globally aligned face scans with accurate facial keypoints, high-quality region masks, and topology-consistent meshes. Our approach performs region-wise shape alignment and leads to more accurate, bidirectional correspondences during computing the shape errors. The fine-grained, region-wise evaluation results provide us detailed understandings about the performance of state-of-the-art 3D face reconstruction methods. For example, our experiments on single-image based reconstruction methods reveal that DECA performs the best on nose regions, while GANFit performs better on cheek regions. Besides, a new and high-quality 3DMM basis, HIFI3D++, is further derived using the same procedure as we construct REALY to align and retopologize several 3D face datasets. We will release REALY, HIFI3D++, and our new evaluation pipeline at https://realy3dface.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google