ISimDL: Importance Sampling-Driven Acceleration of Fault Injection Simulations for Evaluating the Robustness of Deep Learning

要約

ディープ ラーニング (DL) システムは多くのアプリケーションで普及しており、専用のハードウェア アクセラレータとチップが必要です。
ナノ時代では、デバイスは永続的および一時的な障害の影響をますます受けやすくなっています。
したがって、このような障害に対する高度な DL システムの回復力を分析するための効率的な方法論が必要であり、ニューラル アクセラレータ チップの障害が DL アプリケーション レベルでどのようにエラーとして現れるかを理解する必要があります。
フォールト インジェクションを使用すると、ソフトウェア レベルでニューロンの重みと出力を変更することで、ハードウェアが一時的なフォールトの影響を受けたかのように、DL システムの回復力の調査を実行できます。
既存の障害モデルは探索空間を縮小し、より高速な分析を可能にしますが、モデルに関するアプリオリな知識が必要であり、フィルターで除外された探索空間をさらに分析することはできません。
したがって、ニューロンの感度を使用して重要なサンプリングベースの障害シナリオを生成する新しい方法論である ISimDL を提案します。
テスト対象のモデルに関するアプリオリな知識がなくても、ISimDL は、既存の作業と同等の探索空間の縮小を提供すると同時に、考えられるすべての障害をカバーする長いシミュレーションを可能にし、既存のモデル要件を改善します。
私たちの実験では、重要度サンプリングは、ランダムな一様サンプリングよりも重大な障害を選択する際に最大 15 倍の精度を提供し、100 未満の障害でそのような精度に達することが示されています。
さらに、信頼性の高い DNN 設計のための重要度サンプリングの別の実用的なユース ケース、つまり障害認識トレーニング (FAT) を紹介します。
ISimDL を使用してエラーにつながる障害を選択することにより、DNN トレーニング プロセス中に障害を挿入して、そのような障害に対して DNN を強化できます。
FAT で重要度サンプリングを使用すると、事前に決められた精度の低下につながる障害を検出するために必要なオーバーヘッドが 12 倍以上削減されます。

要約(オリジナル)

Deep Learning (DL) systems have proliferated in many applications, requiring specialized hardware accelerators and chips. In the nano-era, devices have become increasingly more susceptible to permanent and transient faults. Therefore, we need an efficient methodology for analyzing the resilience of advanced DL systems against such faults, and understand how the faults in neural accelerator chips manifest as errors at the DL application level, where faults can lead to undetectable and unrecoverable errors. Using fault injection, we can perform resilience investigations of the DL system by modifying neuron weights and outputs at the software-level, as if the hardware had been affected by a transient fault. Existing fault models reduce the search space, allowing faster analysis, but requiring a-priori knowledge on the model, and not allowing further analysis of the filtered-out search space. Therefore, we propose ISimDL, a novel methodology that employs neuron sensitivity to generate importance sampling-based fault-scenarios. Without any a-priori knowledge of the model-under-test, ISimDL provides an equivalent reduction of the search space as existing works, while allowing long simulations to cover all the possible faults, improving on existing model requirements. Our experiments show that the importance sampling provides up to 15x higher precision in selecting critical faults than the random uniform sampling, reaching such precision in less than 100 faults. Additionally, we showcase another practical use-case for importance sampling for reliable DNN design, namely Fault Aware Training (FAT). By using ISimDL to select the faults leading to errors, we can insert the faults during the DNN training process to harden the DNN against such faults. Using importance sampling in FAT reduces the overhead required for finding faults that lead to a predetermined drop in accuracy by more than 12x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google