Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection

要約

航空宇宙や自律運転など、安全性が批判的なアプリケーション用の機械学習ベースの組み込みシステムは、ソフトエラーによって引き起こされる摂動に対して堅牢でなければなりません。
トランジスタのジオメトリが縮小し、電圧が低下すると、最新の電子デバイスがバックグラウンド放射の影響を受けやすくなり、ソフトエラーによって生じる障害に関する懸念が高まります。
これらのエラーに対する深いニューラルネットワーク（DNNS）の回復力は、ターゲットデバイステクノロジーだけでなく、モデル構造とそのパラメーターの数値表現と算術精度にも依存します。
メモリフットプリントと計算の複雑さを減らすために使用される剪定や量子化などの圧縮技術は、モデル構造と表現の両方を変え、ソフトエラーの堅牢性に影響します。
この点では、しばしば見落とされがちですが、活性化関数（AFS）の選択は、精度と訓練性だけでなく、圧縮性とエラーの回復力にも影響します。
このホワイトペーパーでは、パラメーターの摂動に対する堅牢性を高めるために境界AFの使用を調査しながら、テクノロジーに依存しないアプローチでモデルの精度、圧縮率、計算負荷に対する影響を評価します。
自律運転システムへの適用を伴うハイパースペクトル画像のセマンティックセグメンテーション用に開発されたエンコーダーデコーダー畳み込みモデルに焦点を当てています。
実験は、AMD-XilinxのKV260 SOMで行われます。

要約(オリジナル)

Machine learning-based embedded systems for safety-critical applications, such as aerospace and autonomous driving, must be robust to perturbations caused by soft errors. As transistor geometries shrink and voltages decrease, modern electronic devices become more susceptible to background radiation, increasing the concern about failures produced by soft errors. The resilience of deep neural networks (DNNs) to these errors depends not only on target device technology but also on model structure and the numerical representation and arithmetic precision of their parameters. Compression techniques like pruning and quantization, used to reduce memory footprint and computational complexity, alter both model structure and representation, affecting soft error robustness. In this regard, although often overlooked, the choice of activation functions (AFs) impacts not only accuracy and trainability but also compressibility and error resilience. This paper explores the use of bounded AFs to enhance robustness against parameter perturbations, while evaluating their effects on model accuracy, compressibility, and computational load with a technology-agnostic approach. We focus on encoder-decoder convolutional models developed for semantic segmentation of hyperspectral images with application to autonomous driving systems. Experiments are conducted on an AMD-Xilinx’s KV260 SoM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google