Path Analysis for Effective Fault Localization in Deep Neural Networks

要約

ディープラーニングは多くの分野に革命をもたらしましたが、深いニューラルネットワーク（DNNS）の信頼性は、その複雑さとデータ依存性のために依然として懸念事項です。
Spectrumベースの障害ローカリゼーション（SBFL）などの従来のソフトウェア障害のローカリゼーション方法は、DNNに適合していますが、多くの場合、有効性が不足しています。
これらの方法は通常、神経経路を介した断層の伝播を見落とし、より正確な障害検出をもたらします。
研究は、個々のニューロンではなく、神経経路を調べることが重要であることが重要であることを示しています。なぜなら、1つのニューロンの問題はその経路全体に影響を与える可能性があるからです。
これらの相互接続された経路を調査することにより、ニューロンの集合活動から生じる問題をよりよく特定し、対処できます。
この制限に対処するために、層ごとの関連性伝播（LRP）を活用して、本質的な誤った神経経路を特定するNP-SBFL法を導入します。
この方法では、複数の断層源を調査して、相互接続を分析することにより、故障したニューロンを正確に特定します。
さらに、勾配上昇（GA）の拡張であるマルチステージ勾配上昇（MGA）技術により、障害検出を強化するためのシーケンシャルニューロンの活性化が可能になります。
確立されたMNISTおよびCIFAR-10データセットでNP-SBFL-MGAを評価し、DeepFaultやNP-SBFL-GAなどの他の方法と比較し、3つのニューロン測定（Tarantula、Ochiai、およびBarinel）と比較しました。
私たちの評価は、すべてのトレーニングとテストサンプル（MNISTで60,000、CIFAR-10で50,000）を利用し、NP-SBFL-MGAが疑わしい経路を特定し、敵対的な入力を生成する際にベースラインを大幅に上回ったことを明らかにしました。
特に、NP-SBFL-MGAのタランチュラは、DeepFaultの89.90％と比較して、顕著な96.75％の障害検出率を達成しました。
NP-SBFL-MGAは、重要なパスカバレッジとDNN障害の局在における失敗したテストの数との強い相関関係を強調しています。

要約(オリジナル)

Deep learning has revolutionized numerous fields, yet the reliability of Deep Neural Networks (DNNs) remains a concern due to their complexity and data dependency. Traditional software fault localization methods, such as Spectrum-based Fault Localization (SBFL), have been adapted for DNNs but often fall short in effectiveness. These methods typically overlook the propagation of faults through neural pathways, resulting in less precise fault detection. Research indicates that examining neural pathways, rather than individual neurons, is crucial because issues in one neuron can affect its entire pathway. By investigating these interconnected pathways, we can better identify and address problems arising from the collective activity of neurons. To address this limitation, we introduce the NP-SBFL method, which leverages Layer-wise Relevance Propagation (LRP) to identify essential faulty neural pathways. Our method explores multiple fault sources to accurately pinpoint faulty neurons by analyzing their interconnections. Additionally, our multi-stage gradient ascent (MGA) technique, an extension of gradient ascent (GA), enables sequential neuron activation to enhance fault detection. We evaluated NP-SBFL-MGA on the well-established MNIST and CIFAR-10 datasets, comparing it to other methods like DeepFault and NP-SBFL-GA, as well as three neuron measures: Tarantula, Ochiai, and Barinel. Our evaluation utilized all training and test samples (60,000 for MNIST and 50,000 for CIFAR-10) and revealed that NP-SBFL-MGA significantly outperformed the baselines in identifying suspicious pathways and generating adversarial inputs. Notably, Tarantula with NP-SBFL-MGA achieved a remarkable 96.75% fault detection rate compared to DeepFault’s 89.90%. NP-SBFL-MGA highlights a strong correlation between critical path coverage and the number of failed tests in DNN fault localization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google