One-Shot Online Testing of Deep Neural Networks Based on Distribution Shift Detection

要約

ニューラル ネットワーク (NN) は、データ内の複雑なパターンと関係を学習して高精度の予測を行うことができるため、さまざまなタスクに役立ちます。
ただし、NN は計算とメモリの両方を集中的に使用する方法であるため、エッジ アプリケーションにとっては困難です。
NN で最も一般的な演算 (行列とベクトルの乗算) を高速化するために、不揮発性メモリスティブ クロスバーを備えたメモリ内計算 (CiM) などのハードウェア アクセラレータ アーキテクチャが利用されます。
これらは電力効率、並列性、不揮発性などの利点を提供しますが、製造時と寿命の両方でさまざまな障害や変動に悩まされます。
これは計算の誤りにつながり、その結果、マッピング後の推論精度の低下につながる可能性があり、これは安全性が重要なアプリケーションを含む多くのアプリケーションにとって容認できません。
したがって、NN ハードウェア アクセラレータの適切なテストが必要です。
この論文では、1 つのテスト ベクトルのみを使用してメモリスティブ クロスバー上で加速された NN をテストできる \emph{ワンショット} テスト アプローチを提案します。これはオンライン テスト アプリケーションに非常に適しています。
私たちのアプローチは、最大 $201$ のレイヤーとセマンティック セグメンテーションなどの困難なタスクを備えたいくつかの大規模なトポロジにわたって、一貫して $100\%$ の障害カバー率を達成できます。
それにも関わらず、既存の方法と比較すると、障害検出率は最大 $24\%$ 向上し、メモリ オーバーヘッドはわずか $0.0123$ MB で、最大 $19980\times$ 削減され、テスト ベクトルの数は $10000\times 削減されます。
$。

要約(オリジナル)

Neural networks (NNs) are capable of learning complex patterns and relationships in data to make predictions with high accuracy, making them useful for various tasks. However, NNs are both computation-intensive and memory-intensive methods, making them challenging for edge applications. To accelerate the most common operations (matrix-vector multiplication) in NNs, hardware accelerator architectures such as computation-in-memory (CiM) with non-volatile memristive crossbars are utilized. Although they offer benefits such as power efficiency, parallelism, and nonvolatility, they suffer from various faults and variations, both during manufacturing and lifetime operations. This can lead to faulty computations and, in turn, degradation of post-mapping inference accuracy, which is unacceptable for many applications, including safety-critical applications. Therefore, proper testing of NN hardware accelerators is required. In this paper, we propose a \emph{one-shot} testing approach that can test NNs accelerated on memristive crossbars with only one test vector, making it very suitable for online testing applications. Our approach can consistently achieve $100\%$ fault coverage across several large topologies with up to $201$ layers and challenging tasks like semantic segmentation. Nevertheless, compared to existing methods, the fault coverage is improved by up to $24\%$, the memory overhead is only $0.0123$ MB, a reduction of up to $19980\times$ and the number of test vectors is reduced by $10000\times$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google