Investigating Weight-Perturbed Deep Neural Networks With Application in Iris Presentation Attack Detection

要約

ディープ ニューラル ネットワーク (DNN) は、画像分類、音声認識、生体認証、物体検出などのさまざまな機械学習タスクで優れたパフォーマンスを発揮します。ただし、実世界に展開する前に、パラメーターの摂動に対する感度を分析することが不可欠です。
アプリケーション。
この研究では、DNN の重みとバイアス パラメーターに対する摂動に対する DNN の感度を評価します。
感度分析には、3 つの DNN アーキテクチャ (VGG、ResNet、および DenseNet)、3 種類のパラメーター摂動 (ガウス ノイズ、重みゼロ化、および重みスケーリング)、および 2 つの設定 (ネットワーク全体およびレイヤーごと) が含まれます。
私たちは、虹彩プレゼンテーション攻撃検出のコンテキストで実験を実行し、2 つの公開されているデータセット (LivDet-Iris-2017 と LivDet-Iris-2020) で評価します。
感度分析に基づいて、トレーニングを行わずにネットワークのパラメータを摂動させるだけで改善されたモデルを提案します。
これらの摂動モデルをスコア レベルとパラメータ レベルでさらに組み合わせて、元のモデルよりもパフォーマンスを向上させます。
パラメーターレベルのアンサンブルは、LivDet-Iris-2017 データセットでは平均 43.58%、LivDet-Iris-2020 データセットでは 9.25% の平均改善を示しています。
ソース コードは \href{https://github.com/redwankarimsony/WeightPerturbation-MSU}{https://github.com/redwankarimsony/WeightPerturbation-MSU} で入手できます。

要約(オリジナル)

Deep neural networks (DNNs) exhibit superior performance in various machine learning tasks, e.g., image classification, speech recognition, biometric recognition, object detection, etc. However, it is essential to analyze their sensitivity to parameter perturbations before deploying them in real-world applications. In this work, we assess the sensitivity of DNNs against perturbations to their weight and bias parameters. The sensitivity analysis involves three DNN architectures (VGG, ResNet, and DenseNet), three types of parameter perturbations (Gaussian noise, weight zeroing, and weight scaling), and two settings (entire network and layer-wise). We perform experiments in the context of iris presentation attack detection and evaluate on two publicly available datasets: LivDet-Iris-2017 and LivDet-Iris-2020. Based on the sensitivity analysis, we propose improved models simply by perturbing parameters of the network without undergoing training. We further combine these perturbed models at the score-level and at the parameter-level to improve the performance over the original model. The ensemble at the parameter-level shows an average improvement of 43.58% on the LivDet-Iris-2017 dataset and 9.25% on the LivDet-Iris-2020 dataset. The source code is available at \href{https://github.com/redwankarimsony/WeightPerturbation-MSU}{https://github.com/redwankarimsony/WeightPerturbation-MSU}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google