Hessian-aware Training for Enhancing DNNs Resilience to Parameter Corruptions

要約

深いニューラルネットワークは、パラメーターの破損に対して回復力がありません。メモリ内のパラメーターの単一刺されたエラーでさえ、精度が10％を超え、最悪の場合は最大99％の低下を引き起こす可能性があります。
この感受性は、コンピューティングプラットフォームにモデルを展開する際に大きな課題をもたらします。敵はソフトウェアを介してビットフリップを誘導したり、ビットワイズの腐敗を自然に発生させる可能性があります。
ほとんどの以前の作業は、この問題に、追加のハードウェアコンポーネントを統合して推論でモデルの整合性を検証するなど、ハードウェアまたはシステムレベルのアプローチで対処しています。
ただし、これらの方法は、インフラストラクチャまたはプラットフォーム全体の変更が必要なため、広く展開されていません。
この論文では、この問題に対処するための新しいアプローチを提案します。トレーニングモデルは、パラメーターに対するビットワイズの腐敗に対してより回復力があります。
私たちのアプローチであるHessian-Aware Trainingは、$ hrath $ $の損失表面でモデルを促進します。
ヘシアンベースのアプローチを通じて一般化を改善するために設計されたトレーニング方法がありましたが、パラメーターの腐敗に対する回復力を高めることはできないことを示しています。
対照的に、私たちの方法で訓練されたモデルは、特に個々のフリップが90 $ -100％の精度低下につながるビット数が20ドル-50％削減されることで、パラメーターの腐敗に対する回復力の増加を示しています。
さらに、既存のハードウェアとシステムレベルの防御との相乗効果を示します。

要約(オリジナル)

Deep neural networks are not resilient to parameter corruptions: even a single-bitwise error in their parameters in memory can cause an accuracy drop of over 10%, and in the worst cases, up to 99%. This susceptibility poses great challenges in deploying models on computing platforms, where adversaries can induce bit-flips through software or bitwise corruptions may occur naturally. Most prior work addresses this issue with hardware or system-level approaches, such as integrating additional hardware components to verify a model’s integrity at inference. However, these methods have not been widely deployed as they require infrastructure or platform-wide modifications. In this paper, we propose a new approach to addressing this issue: training models to be more resilient to bitwise corruptions to their parameters. Our approach, Hessian-aware training, promotes models with $flatter$ loss surfaces. We show that, while there have been training methods, designed to improve generalization through Hessian-based approaches, they do not enhance resilience to parameter corruptions. In contrast, models trained with our method demonstrate increased resilience to parameter corruptions, particularly with a 20$-$50% reduction in the number of bits whose individual flipping leads to a 90$-$100% accuracy drop. Moreover, we show the synergy between ours and existing hardware and system-level defenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google