Path Analysis for Effective Fault Localization in Deep Neural Networks

要約

ディープラーニングは様々な実世界のアプリケーションに革命をもたらしたが、ディープ・ニューラル・ネットワーク（DNN）の品質には依然として懸念が残る。DNNは複雑で、数百万ものパラメータを持つため、タスクの達成に対する寄与を判断するのが難しい。さらに、DNNの振る舞いは学習時に使用されるデータに大きく影響されるため、あらゆる可能性のあるシナリオの下で潜在的なDNNの振る舞いをすべて行使するのに十分なデータを収集することは困難である。本論文では、スペクトラムベースの故障位置特定（SBFL）を用いて、故障した神経経路（NP）を特定するNP SBFL法を提案する。本手法は、レイヤーワイズ関連性伝播（LRP）技術を用いてクリティカルニューロンを特定し、どのクリティカルニューロンが故障しているかを決定する。さらに、勾配上昇法(GA)を拡張した多段勾配上昇法(MGA)を提案し、前のニューロンの活性化を維持したまま、一連のニューロンを一度に効果的に活性化することで、報告された欠陥経路をテストすることができる。我々の手法、すなわちNP-SBFL-MGAの有効性を、よく使われる2つのデータセット、MNISTとCIFAR-10、2つのベースラインDeepFaultとNP-SBFL-GA、3つの疑わしいニューロン対策、Tarantula、Ochiai、Barinelで評価した。その結果、NP-SBFL-MGAはベースラインと比較して、不審なパスの識別と敵対的な入力の合成において統計的に有効であることが示された。特に、NP-SBFL-MGA上のTarantulaは96.75%と最も高い故障検出率を示し、落合上のDeepFault（89.90%）と落合上のNP-SBFL-GA（60.61%）を上回った。また、DNNの故障箇所特定において、クリティカルパスのカバレッジと失敗テスト数の間に正の相関があることがわかった。

要約(オリジナル)

Deep learning has revolutionized various real-world applications, but the quality of Deep Neural Networks (DNNs) remains a concern. DNNs are complex and have millions of parameters, making it difficult to determine their contributions to fulfilling a task. Moreover, the behavior of a DNN is highly influenced by the data used during training, making it challenging to collect enough data to exercise all potential DNN behavior under all possible scenarios. This paper proposes NP SBFL method to locate faulty neural pathways (NP) using spectrum-based fault localization (SBFL). Our method identifies critical neurons using the layer-wise relevance propagation (LRP) technique and determines which critical neurons are faulty. Moreover, we propose a multi-stage gradient ascent (MGA), an extension of gradient ascent (GA), to effectively activate a sequence of neurons one at a time while maintaining the activation of previous neurons, so we are able to test the reported faulty pathways. We evaluated the effectiveness of our method, i.e. NP-SBFL-MGA, on two commonly used datasets, MNIST and CIFAR-10, two baselines DeepFault and NP-SBFL-GA, and three suspicious neuron measures, Tarantula, Ochiai, and Barinel. The empirical results showed that NP-SBFL-MGA is statistically more effective than the baselines at identifying suspicious paths and synthesizing adversarial inputs. Particularly, Tarantula on NP-SBFL-MGA had the highest fault detection rate at 96.75%, surpassing DeepFault on Ochiai (89.90%) and NP-SBFL-GA on Ochiai (60.61%). Our approach also yielded comparable results to the baselines in synthesizing naturalness inputs, and we found a positive correlation between the coverage of critical paths and the number of failed tests in DNN fault localization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL