Exploring 3D Face Reconstruction and Fusion Methods for Face Verification: A Case-Study in Video Surveillance

要約

3D 顔再構成 (3DFR) アルゴリズムは、個別のアプリケーション シナリオに合わせて調整された特定の仮定に基づいています。
これらの仮定は、ビデオ監視でよく起こるように、カメラからの被写体の距離やカメラの特性などの取得条件が予想とは異なる場合の使用を制限します。
さらに、3DFR アルゴリズムは、統計モデル フィッティング、フォトメトリック ステレオ、ディープ ラーニングなど、2D データからの 3D 形状の再構成に対処するためのさまざまな戦略に従います。
本研究では、SOTA を代表する 3 つの 3DFR アルゴリズムのアプリケーションを調査し、それぞれを顔認証システムのテンプレート セット ジェネレーターとして使用します。
各システムによって提供されるスコアは、スコアレベルの融合によって結合されます。
さまざまな 3DFR アルゴリズムによって引き起こされる相補性により、カメラからこれまでにない距離およびカメラの特性 (交差距離および交差カメラ設定) でテストを実施した場合のパフォーマンスが向上することを示し、複数の 3DFR ベースのアプローチについてのさらなる調査を促進します。
。

要約(オリジナル)

3D face reconstruction (3DFR) algorithms are based on specific assumptions tailored to distinct application scenarios. These assumptions limit their use when acquisition conditions, such as the subject’s distance from the camera or the camera’s characteristics, are different than expected, as typically happens in video surveillance. Additionally, 3DFR algorithms follow various strategies to address the reconstruction of a 3D shape from 2D data, such as statistical model fitting, photometric stereo, or deep learning. In the present study, we explore the application of three 3DFR algorithms representative of the SOTA, employing each one as the template set generator for a face verification system. The scores provided by each system are combined by score-level fusion. We show that the complementarity induced by different 3DFR algorithms improves performance when tests are conducted at never-seen-before distances from the camera and camera characteristics (cross-distance and cross-camera settings), thus encouraging further investigations on multiple 3DFR-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google