Considerations on the Evaluation of Biometric Quality Assessment Algorithms

要約

タイトル：バイオメトリック品質評価アルゴリズムの評価についての考慮事項
要約：品質評価アルゴリズムは、バイオメトリック認識の目的のためにバイオメトリックサンプルの有用性を推定するために使用されます。研究者は、そのような品質評価アルゴリズムの予測性能を評価するために一般的に「誤り対破棄曲線（EDC）プロット」とその曲線の「部分曲線下面積（pAUC）値」を使用します。 EDC曲線は、誤りタイプ（例えば、「誤り非一致率」（FNMR）、品質評価アルゴリズム、バイオメトリック認識システム、バイオメトリックサンプルペアに対応する一連の比較、および開始エラーに対応する比較得点しきい値）に依存します。 EDC曲線を計算するには、関連サンプルの最低品質スコアに基づいて比較を段階的に破棄し、残りの比較のエラーを計算する必要があります。さらに、pAUC値を計算するには、破棄する割合または範囲を選択する必要があります。これらの値は品質評価アルゴリズムを量的にランキングするために使用できます。

– EDC曲線の一般的な特性
– pAUC値に基づく解釈性の改善（下限エラーと上限エラー）
– 離散ランキングではなく相対ランキングの使用
– ステップワイズと線形曲線内挿の比較
– 品質スコアの正規化（0〜100の整数範囲）
– pAUC破棄率と開始エラーが異なる場合の品質評価アルゴリズムランキングの安定性の分析

この論文は、合成データと実際のデータを使用した顔画像品質評価シナリオの一般的な調査を重点的に行い、EDC評価について一般的な特性を考察して分析しています。

要約(オリジナル)

Quality assessment algorithms can be used to estimate the utility of a biometric sample for the purpose of biometric recognition. ‘Error versus Discard Characteristic’ (EDC) plots, and ‘partial Area Under Curve’ (pAUC) values of curves therein, are generally used by researchers to evaluate the predictive performance of such quality assessment algorithms. An EDC curve depends on an error type such as the ‘False Non Match Rate’ (FNMR), a quality assessment algorithm, a biometric recognition system, a set of comparisons each corresponding to a biometric sample pair, and a comparison score threshold corresponding to a starting error. To compute an EDC curve, comparisons are progressively discarded based on the associated samples’ lowest quality scores, and the error is computed for the remaining comparisons. Additionally, a discard fraction limit or range must be selected to compute pAUC values, which can then be used to quantitatively rank quality assessment algorithms. This paper discusses and analyses various details for this kind of quality assessment algorithm evaluation, including general EDC properties, interpretability improvements for pAUC values based on a hard lower error limit and a soft upper error limit, the use of relative instead of discrete rankings, stepwise vs. linear curve interpolation, and normalisation of quality scores to a [0, 100] integer range. We also analyse the stability of quantitative quality assessment algorithm rankings based on pAUC values across varying pAUC discard fraction limits and starting errors, concluding that higher pAUC discard fraction limits should be preferred. The analyses are conducted both with synthetic data and with real data for a face image quality assessment scenario, with a focus on general modality-independent conclusions for EDC evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI