Cross-Layer Optimization for Fault-Tolerant Deep Learning

要約

フォールトトレラントなディープ ラーニング アクセラレータは、信頼性の高いディープ ラーニング処理の基盤であり、航空電子工学やロボット工学などの安全性が重要なアプリケーションにディープ ラーニングを導入するために不可欠です。
ディープ ラーニングはコンピューティングとメモリを大量に消費することが知られているため、冗長コンピューティングに基づく従来のフォールト トレラント アプローチでは、電力消費やチップ面積などの大幅なオーバーヘッドが発生します。
この目的を達成するために、ニューロンと各ニューロンのビットの両方にわたるディープラーニングの脆弱性の違いを特徴付け、その脆弱性の違いを活用して、それぞれアーキテクチャ層と回路層の観点からディープラーニング処理コンポーネントの選択的保護を可能にすることを提案します。
同時に、モデルの量子化と深層学習アクセラレータの基礎となる処理要素のビット保護オーバーヘッドとの相関関係を観察し、モデルの精度を損なうことなく量子化制約を追加することでビット保護オーバーヘッドを削減することを提案します。
最後に、ベイジアン最適化戦略を採用して、アルゴリズム層、アーキテクチャ層、回路層で相関する層間設計パラメータを協調最適化し、ハードウェア リソースの消費を最小限に抑えながら、深層学習の信頼性、精度、パフォーマンスなどの複数のユーザー制約を満たします。
同時に処理します。

要約(オリジナル)

Fault-tolerant deep learning accelerator is the basis for highly reliable deep learning processing and critical to deploy deep learning in safety-critical applications such as avionics and robotics. Since deep learning is known to be computing- and memory-intensive, traditional fault-tolerant approaches based on redundant computing will incur substantial overhead including power consumption and chip area. To this end, we propose to characterize deep learning vulnerability difference across both neurons and bits of each neuron, and leverage the vulnerability difference to enable selective protection of the deep learning processing components from the perspective of architecture layer and circuit layer respectively. At the same time, we observe the correlation between model quantization and bit protection overhead of the underlying processing elements of deep learning accelerators, and propose to reduce the bit protection overhead by adding additional quantization constrain without compromising the model accuracy. Finally, we employ Bayesian optimization strategy to co-optimize the correlated cross-layer design parameters at algorithm layer, architecture layer, and circuit layer to minimize the hardware resource consumption while fulfilling multiple user constraints including reliability, accuracy, and performance of the deep learning processing at the same time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google