PowerPruning: Selecting Weights and Activations for Power-Efficient Neural Network Acceleration

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまな分野でうまく適用されています。
DNN を展開する際の主な課題は、特にエッジ デバイスで、多数の積和 (MAC) 操作による電力消費です。
この課題に対処するために、PowerPruning を提案します。これは、MAC 操作の消費電力を削減する重みを選択することで、デジタル ニューラル ネットワーク アクセラレータの消費電力を削減する新しい方法です。
さらに、選択したウェイトのタイミング特性とすべてのアクティベーション遷移が評価されます。
小さな遅延につながる重みとアクティベーションがさらに選択されます。
その結果、MAC ユニットを変更しなくても、MAC ユニット内の感度の高い回路パスの最大遅延が減少するため、電源電圧を柔軟にスケーリングして電力消費をさらに削減できます。
再トレーニングと合わせて、提案された方法は、ハードウェア上の DNN の消費電力を最大 78.3% 削減できますが、精度はわずかに低下します。

要約(オリジナル)

Deep neural networks (DNNs) have been successfully applied in various fields. A major challenge of deploying DNNs, especially on edge devices, is power consumption, due to the large number of multiply-and-accumulate (MAC) operations. To address this challenge, we propose PowerPruning, a novel method to reduce power consumption in digital neural network accelerators by selecting weights that lead to less power consumption in MAC operations. In addition, the timing characteristics of the selected weights together with all activation transitions are evaluated. The weights and activations that lead to small delays are further selected. Consequently, the maximum delay of the sensitized circuit paths in the MAC units is reduced even without modifying MAC units, which thus allows a flexible scaling of supply voltage to reduce power consumption further. Together with retraining, the proposed method can reduce power consumption of DNNs on hardware by up to 78.3% with only a slight accuracy loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google