Towards A Comprehensive Visual Saliency Explanation Framework for AI-based Face Recognition Systems

要約

近年、ディープ畳み込みニューラル ネットワークにより、検証と識別の両方の目的で顔認識技術の分野が大幅に進歩しました。
これらのニューラル ネットワークは、優れた精度にもかかわらず、説明可能性が欠けていると批判されることがよくあります。
AI ベースの顔認識システムの意思決定プロセスを理解する需要が高まっています。
いくつかの研究では、説明として視覚的顕著性マップの使用を調査していますが、主に特定の顔検証のケースに焦点を当てています。
より一般的な顔認識シナリオと、これらの説明に対応する評価方法論に関する議論は、現在の研究では長らく行われていませんでした。
したがって、この原稿は、顔認識タスクの包括的な説明フレームワークを考案します。
まず、最も一般的な 2 つの認識状況、つまり顔の検証と識別を個別に考慮して、AI ベースの顔認識システムに関する視覚的顕著性マップに基づく説明の徹底的な定義が提供されます。
次に、CorrRISE と呼ばれる新しいモデルに依存しない説明手法が提案されており、特定の顔画像間の類似領域と非類似領域の両方を明らかにする顕著性マップを作成します。
その後、説明フレームワークは、顔認識における一般的な視覚的顕著性の説明方法のパフォーマンスの定量的な測定と比較を提供する新しい評価方法論を考案します。
その結果、複数の検証および識別シナリオについて広範な実験が実行されます。
この結果は、CorrRISE が洞察力に富んだ顕著性マップを生成し、特に類似性マップにおいて、最先端の説明アプローチと比較して優れたパフォーマンスを示していることを示しています。

要約(オリジナル)

Over recent years, deep convolutional neural networks have significantly advanced the field of face recognition techniques for both verification and identification purposes. Despite the impressive accuracy, these neural networks are often criticized for lacking explainability. There is a growing demand for understanding the decision-making process of AI-based face recognition systems. Some studies have investigated the use of visual saliency maps as explanations, but they have predominantly focused on the specific face verification case. The discussion on more general face recognition scenarios and the corresponding evaluation methodology for these explanations have long been absent in current research. Therefore, this manuscript conceives a comprehensive explanation framework for face recognition tasks. Firstly, an exhaustive definition of visual saliency map-based explanations for AI-based face recognition systems is provided, taking into account the two most common recognition situations individually, i.e., face verification and identification. Secondly, a new model-agnostic explanation method named CorrRISE is proposed to produce saliency maps, which reveal both the similar and dissimilar regions between any given face images. Subsequently, the explanation framework conceives a new evaluation methodology that offers quantitative measurement and comparison of the performance of general visual saliency explanation methods in face recognition. Consequently, extensive experiments are carried out on multiple verification and identification scenarios. The results showcase that CorrRISE generates insightful saliency maps and demonstrates superior performance, particularly in similarity maps in comparison with the state-of-the-art explanation approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google