Face Shape-Guided Deep Feature Alignment for Face Recognition Robust to Face Misalignment

要約

過去数十年間、顔認識 (FR) はコンピューター ビジョンとパターン認識の社会で活発に研究されてきました。
最近では、深層学習の進歩により、ほとんどのベンチマーク データセットで FR 技術が高いパフォーマンスを示しています。
ただし、FR アルゴリズムを実際のシナリオに適用した場合、パフォーマンスは依然として不十分であることがわかっています。
これは主に、トレーニング セットとテスト セットの不一致によるものです。
このような不一致の中で、トレーニング顔とテスト顔の顔のずれは、FR の成功を妨げる要因の 1 つです。
この制限に対処するために、顔の位置ずれに強いFR用の顔の形状に基づいた深い特徴の位置合わせフレームワークを提案します。
顔の形状の事前分布 (顔のキーポイントなど) に基づいて、適切に整列された顔画像と整列されていない顔画像の間にピクセルと特徴の整列などの整列プロセスを導入することで、提案されたディープ ネットワークをトレーニングします。
顔画像と顔形状から抽出された集約された特徴をデコードするピクセル位置合わせプロセスを通じて、適切に位置合わせされた顔画像を再構築するための補助タスクを追加します。
集約された特徴は、特徴の位置合わせプロセスを介してガイドとして顔特徴抽出ネットワークにリンクされるため、堅牢な顔特徴を顔のずれに対してトレーニングします。
トレーニング段階で顔形状の推定が必要な場合でも、通常は従来の FR パイプラインに組み込まれている追加の顔位置合わせプロセスは、テスト段階では必ずしも必要ではありません。
比較実験を通じて、FR データセットを使用した顔のずれに対する提案された方法の有効性を検証します。

要約(オリジナル)

For the past decades, face recognition (FR) has been actively studied in computer vision and pattern recognition society. Recently, due to the advances in deep learning, the FR technology shows high performance for most of the benchmark datasets. However, when the FR algorithm is applied to a real-world scenario, the performance has been known to be still unsatisfactory. This is mainly attributed to the mismatch between training and testing sets. Among such mismatches, face misalignment between training and testing faces is one of the factors that hinder successful FR. To address this limitation, we propose a face shape-guided deep feature alignment framework for FR robust to the face misalignment. Based on a face shape prior (e.g., face keypoints), we train the proposed deep network by introducing alignment processes, i.e., pixel and feature alignments, between well-aligned and misaligned face images. Through the pixel alignment process that decodes the aggregated feature extracted from a face image and face shape prior, we add the auxiliary task to reconstruct the well-aligned face image. Since the aggregated features are linked to the face feature extraction network as a guide via the feature alignment process, we train the robust face feature to the face misalignment. Even if the face shape estimation is required in the training stage, the additional face alignment process, which is usually incorporated in the conventional FR pipeline, is not necessarily needed in the testing phase. Through the comparative experiments, we validate the effectiveness of the proposed method for the face misalignment with the FR datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google