Towards Visual Saliency Explanations of Face Verification

要約

ここ数年、ディープ畳み込みニューラル ネットワークは、検証と識別の両方のシナリオにおいて顔認識 (FR) 技術の最前線を押し広げてきました。
精度は高いものの、説明性に欠けると批判されることも多い。
深顔認識システムの意思決定プロセスを理解する需要が高まっています。
最近の研究では、説明として視覚的顕著性マップの使用が調査されていますが、顔認識の文脈での議論や分析が欠けていることがよくあります。
この論文は、説明可能な顔照合タスクに焦点を当て、新しい説明フレームワークを考案します。
まず、深い FR モデルによって行われる決定に焦点を当てた、顕著性に基づく説明方法の定義が提供されます。
次に、CorrRISE と呼ばれる新しいモデルに依存しない説明手法が提案されており、特定の顔画像ペアの類似領域と非類似領域の両方を明らかにする顕著性マップを作成します。
次に、顔検証における一般的な視覚的顕著性説明法のパフォーマンスを測定する評価方法論を設計します。
最後に、実質的な視覚的かつ定量的な結果は、提案された CorrRISE メソッドが他の最先端の説明可能な顔検証アプローチと比較して有望な結果を示していることを示しています。

要約(オリジナル)

In the past years, deep convolutional neural networks have been pushing the frontier of face recognition (FR) techniques in both verification and identification scenarios. Despite the high accuracy, they are often criticized for lacking explainability. There has been an increasing demand for understanding the decision-making process of deep face recognition systems. Recent studies have investigated the usage of visual saliency maps as an explanation, but they often lack a discussion and analysis in the context of face recognition. This paper concentrates on explainable face verification tasks and conceives a new explanation framework. Firstly, a definition of the saliency-based explanation method is provided, which focuses on the decisions made by the deep FR model. Secondly, a new model-agnostic explanation method named CorrRISE is proposed to produce saliency maps, which reveal both the similar and dissimilar regions of any given pair of face images. Then, an evaluation methodology is designed to measure the performance of general visual saliency explanation methods in face verification. Finally, substantial visual and quantitative results have shown that the proposed CorrRISE method demonstrates promising results in comparison with other state-of-the-art explainable face verification approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google