Sensitivity-Aware Finetuning for Accuracy Recovery on Deep Learning Hardware

要約

量子化およびアナログ ノイズが存在する場合にアナログ/デジタル ハードウェアでモデルの精度を回復する既存の方法には、ノイズ注入トレーニングが含まれます。
ただし、事前トレーニングされたモデルから開始する場合でも、実際には遅くなり、高い計算コストが発生する可能性があります。
モデル内のノイズに敏感なレイヤーを特定し、その情報を使用してノイズ注入トレーニング用に特定のレイヤーをフリーズする Sensitivity-Aware Finetuning (SAFT) アプローチを導入します。
私たちの結果は、SAFT がノイズ注入トレーニングと同等の精度を達成し、2 倍から 8 倍高速であることを示しています。

要約(オリジナル)

Existing methods to recover model accuracy on analog-digital hardware in the presence of quantization and analog noise include noise-injection training. However, it can be slow in practice, incurring high computational costs, even when starting from pretrained models. We introduce the Sensitivity-Aware Finetuning (SAFT) approach that identifies noise sensitive layers in a model, and uses the information to freeze specific layers for noise-injection training. Our results show that SAFT achieves comparable accuracy to noise-injection training and is 2x to 8x faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google