3D Face Reconstruction Error Decomposed: A Modular Benchmark for Fair and Fast Method Evaluation

要約

3Dフェイス再構成の標準ベンチマークメトリック、すなわち幾何学的エラーの計算には、メッシュトリミング、剛性アラインメント、ポイント対応など、多くのステップが必要です。
現在のベンチマークツールは、エラーを測定する最良の方法についてコンセンサスがない場合でも、モノリシックです（これらのステップの特定の組み合わせを実装します）。
モジュール化された3Dフェイス再構成ベンチマーク（M3DFB）のツールキットを提示します。ここでは、エラー計算の基本的なコンポーネントが分離され、交換可能であり、それぞれの効果を定量化できるようにします。
さらに、新しいコンポーネント、すなわち修正を提案し、メッシュトポロジの矛盾に対してペナルティを課す計算効率的なアプローチを提示します。
このツールキットを使用して、2つの実際のデータセットと2つの合成データセットで10の再構築方法で16のエラー推定器をテストします。
重要なことに、広く使用されているICPベースの推定器は、トップ5再建方法の真のランキングを大幅に変えるため、最悪のベンチマークパフォーマンスを提供します。
特に、ICPと真の誤差の相関は0.41になる可能性があります。
さらに、非剛性アライメントは、データセットで3Dランドマークに注釈を付けることの重要性を強調して、大幅な改善（0.90を超える相関）につながります。
最後に、提案された修正スキームは、非剛性ワーピングとともに、最高の非剛性ICPベースの推定器と同等の精度につながりますが、数桁速く実行されます。
当社のオープンソースコードベースは、研究者が各コンポーネントの代替を簡単に比較するために設計されているため、3Dフェイス再構成のベンチマークの進捗状況を加速し、さらに、効果的なトレーニングの正確なエラー推定に依存する学習再構築方法の改善をサポートします。

要約(オリジナル)

Computing the standard benchmark metric for 3D face reconstruction, namely geometric error, requires a number of steps, such as mesh cropping, rigid alignment, or point correspondence. Current benchmark tools are monolithic (they implement a specific combination of these steps), even though there is no consensus on the best way to measure error. We present a toolkit for a Modularized 3D Face reconstruction Benchmark (M3DFB), where the fundamental components of error computation are segregated and interchangeable, allowing one to quantify the effect of each. Furthermore, we propose a new component, namely correction, and present a computationally efficient approach that penalizes for mesh topology inconsistency. Using this toolkit, we test 16 error estimators with 10 reconstruction methods on two real and two synthetic datasets. Critically, the widely used ICP-based estimator provides the worst benchmarking performance, as it significantly alters the true ranking of the top-5 reconstruction methods. Notably, the correlation of ICP with the true error can be as low as 0.41. Moreover, non-rigid alignment leads to significant improvement (correlation larger than 0.90), highlighting the importance of annotating 3D landmarks on datasets. Finally, the proposed correction scheme, together with non-rigid warping, leads to an accuracy on a par with the best non-rigid ICP-based estimators, but runs an order of magnitude faster. Our open-source codebase is designed for researchers to easily compare alternatives for each component, thus helping accelerating progress in benchmarking for 3D face reconstruction and, furthermore, supporting the improvement of learned reconstruction methods, which depend on accurate error estimation for effective training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google