Identity Overlap Between Face Recognition Train/Test Data: Causing Optimistic Bias in Accuracy Measurement

要約

パターン認識の基本原則は、トレーニング セットとテスト セット間の重複により楽観的な精度推定が生じるということです。
顔認識用のディープ CNN は、トレーニング セット内のアイデンティティの N 方向分類用にトレーニングされます。
精度は通常、LFW、CALFW、CPLFW、CFP-FP、AgeDB-30 などのテスト セットからの画像ペアの平均 10 倍の分類精度として推定されます。
トレーニング セットとテスト セットは独立して組み立てられているため、任意のテスト セット内の画像と ID が任意のトレーニング セットにも存在する可能性があります。
特に、私たちの実験では、LFW ファミリのテスト セットと MS1MV2 トレーニング セットの間で驚くべき程度の同一性とイメージの重複が明らかになりました。
私たちの実験では、MS1MV2 の識別ラベル ノイズも明らかになりました。
楽観的バイアスの大きさを明らかにするために、同一サイズで同一サイズの MS1MV2 サブセットと同一サイズで同一でないサブセットで達成される精度を LFW と比較します。
LFW ファミリーのより困難なテスト セットを使用すると、より困難なテスト セットほど楽観的バイアスのサイズが大きくなることがわかります。
私たちの結果は、顔認識研究におけるアイデンティティに素なトレーニングとテスト方法論の欠如とその必要性を浮き彫りにしています。

要約(オリジナル)

A fundamental tenet of pattern recognition is that overlap between training and testing sets causes an optimistic accuracy estimate. Deep CNNs for face recognition are trained for N-way classification of the identities in the training set. Accuracy is commonly estimated as average 10-fold classification accuracy on image pairs from test sets such as LFW, CALFW, CPLFW, CFP-FP and AgeDB-30. Because train and test sets have been independently assembled, images and identities in any given test set may also be present in any given training set. In particular, our experiments reveal a surprising degree of identity and image overlap between the LFW family of test sets and the MS1MV2 training set. Our experiments also reveal identity label noise in MS1MV2. We compare accuracy achieved with same-size MS1MV2 subsets that are identity-disjoint and not identity-disjoint with LFW, to reveal the size of the optimistic bias. Using more challenging test sets from the LFW family, we find that the size of the optimistic bias is larger for more challenging test sets. Our results highlight the lack of and the need for identity-disjoint train and test methodology in face recognition research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google