Application of Sensitivity Analysis Methods for Studying Neural Network Models

要約

この研究は、入力データの摂動に対するニューラルネットワークの感度を分析し、それらの根本的なメカニズムを解釈するためのいくつかの方法の能力を示しています。
調査されたアプローチには、SOBOLグローバル感度分析、入力ピクセル摂動の局所感度方法、および活性化最大化手法が含まれます。
例として、この研究では、画像処理と分類で広く使用されている2つの古典的な畳み込みアーキテクチャ、VGG-16とResNet-18の2つの古典的な畳み込みアーキテクチャと同様に、臨床糖尿病データの開いた表データセットを分析するための小さなフィードフォワードニューラルネットワークを検討します。
グローバルな感度分析の利用により、選択した小さなニューラルネットワークの主要な入力パラメーターを特定し、精度を大幅に失うことなく数を減らすことができます。
グローバルな感度分析がより大きなモデルに適用できない限り、畳み込みニューラルネットワークへの応用において、局所感度分析と活性化最大化方法を試します。
これらの方法は、画像分類の問題を解決する畳み込みモデルの興味深いパターンを示しています。
全体として、活性化最大化法の結果を、超音波データ分析のコンテキストで人気のあるグラッドCAM技術と比較します。

要約(オリジナル)

This study demonstrates the capabilities of several methods for analyzing the sensitivity of neural networks to perturbations of the input data and interpreting their underlying mechanisms. The investigated approaches include the Sobol global sensitivity analysis, the local sensitivity method for input pixel perturbations and the activation maximization technique. As examples, in this study we consider a small feedforward neural network for analyzing an open tabular dataset of clinical diabetes data, as well as two classical convolutional architectures, VGG-16 and ResNet-18, which are widely used in image processing and classification. Utilization of the global sensitivity analysis allows us to identify the leading input parameters of the chosen tiny neural network and reduce their number without significant loss of the accuracy. As far as global sensitivity analysis is not applicable to larger models we try the local sensitivity analysis and activation maximization method in application to the convolutional neural networks. These methods show interesting patterns for the convolutional models solving the image classification problem. All in all, we compare the results of the activation maximization method with popular Grad-CAM technique in the context of ultrasound data analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google