Enhancing Fault Resilience of QNNs by Selective Neuron Splitting

要約

ディープ ニューラル ネットワーク (DNN) の優れたパフォーマンスは、人間の生活のさまざまな側面での応用につながりました。
安全性が重要なアプリケーションも例外ではなく、DNN に厳しい信頼性要件を課します。
量子化ニューラル ネットワーク (QNN) は、DNN アクセラレータの複雑さに対処するために登場しましたが、信頼性の問題が発生しやすくなっています。
この論文では、ニューロン脆弱性係数 (NVF) に基づいて重要なニューロンを特定するために、最新の分析的回復力評価方法を QNN に適用します。
その後、計算部分を再設計することなくアクセラレータ内の軽量補正ユニット (LCU) の設計を可能にする、重要なニューロンを分割するための新しい方法が提案されています。
この方法は、さまざまな QNN とデータセットでの実験によって検証されています。
この結果は、提案された障害修正方法は、選択的トリプル モジュラー冗長性 (TMR) よりも 2 倍小さいオーバーヘッドを持ちながら、同様のレベルの障害回復力を達成していることを示しています。

要約(オリジナル)

The superior performance of Deep Neural Networks (DNNs) has led to their application in various aspects of human life. Safety-critical applications are no exception and impose rigorous reliability requirements on DNNs. Quantized Neural Networks (QNNs) have emerged to tackle the complexity of DNN accelerators, however, they are more prone to reliability issues. In this paper, a recent analytical resilience assessment method is adapted for QNNs to identify critical neurons based on a Neuron Vulnerability Factor (NVF). Thereafter, a novel method for splitting the critical neurons is proposed that enables the design of a Lightweight Correction Unit (LCU) in the accelerator without redesigning its computational part. The method is validated by experiments on different QNNs and datasets. The results demonstrate that the proposed method for correcting the faults has a twice smaller overhead than a selective Triple Modular Redundancy (TMR) while achieving a similar level of fault resiliency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google