SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness

要約

エネルギー効率の高いディープ ニューラル ネットワーク (DNN) アクセラレータは、推論時に DNN のパフォーマンスを低下させる非理想的な傾向があります。
このような劣化を軽減するために、既存の方法では通常、トレーニング中に DNN の重みに摂動を追加して、ノイズの多いハードウェアでの推論をシミュレートします。
ただし、これには多くの場合、ターゲット ハードウェアに関する知識が必要であり、DNN のパフォーマンスと堅牢性のトレードオフにつながり、前者を減らして後者を増やします。
この作業では、損失値と損失の鋭さの両方を最適化することにより、鋭さを意識したトレーニングを適用すると、ターゲット ハードウェアに関する仮定に依存することなく、推論時にノイズの多いハードウェアに対する堅牢性が大幅に向上することを示します。
特に、与えられた重みの最悪の場合の摂動を、その大きさだけでなく重み分布の範囲についても調整する、新しい適応シャープネス認識方法を提案します。
これは、外れ値の最小化 (SAMSON) によってスケーリングされたシャープネスを考慮した最小化を実行することによって実現されます。
私たちのアプローチは、いくつかのアーキテクチャとデータセットで測定されたように、ノイズのない体制でのモデルの一般化パフォーマンスとノイズの多い設定でのロバスト性の両方の点で、既存のシャープネス認識トレーニング方法よりも優れています。

要約(オリジナル)

Energy-efficient deep neural network (DNN) accelerators are prone to non-idealities that degrade DNN performance at inference time. To mitigate such degradation, existing methods typically add perturbations to the DNN weights during training to simulate inference on noisy hardware. However, this often requires knowledge about the target hardware and leads to a trade-off between DNN performance and robustness, decreasing the former to increase the latter. In this work, we show that applying sharpness-aware training, by optimizing for both the loss value and loss sharpness, significantly improves robustness to noisy hardware at inference time without relying on any assumptions about the target hardware. In particular, we propose a new adaptive sharpness-aware method that conditions the worst-case perturbation of a given weight not only on its magnitude but also on the range of the weight distribution. This is achieved by performing sharpness-aware minimization scaled by outlier minimization (SAMSON). Our approach outperforms existing sharpness-aware training methods both in terms of model generalization performance in noiseless regimes and robustness in noisy settings, as measured on several architectures and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google