SWAP: Sparse Entropic Wasserstein Regression for Robust Network Pruning

要約

この研究は、経験的なフィッシャー情報行列 (FIM) を計算するときに不正確な勾配が存在するというニューラル ネットワークの枝刈りの問題に取り組みます。
最適トランスポート (OT) 問題の幾何学的属性を利用した、エントロピック ワッサーシュタイン回帰 (EWR) ネットワーク プルーニング定式化である SWAP を紹介します。
最適化において一般的に使用される標準線形回帰 (LR) と EWR の「スワップ」は、データ ポイント全体で近傍内挿を採用することでノイズ軽減に優れていることが分析的に示されていますが、追加の計算コストは​​わずかです。
SWAP の独自の強みは、ノイズ削減と共分散情報の保存の間でバランスをとる本質的な能力です。
さまざまなネットワークで実行された広範な実験により、最先端 (SoTA) ネットワーク プルーニング アルゴリズムを使用した SWAP と同等のパフォーマンスが示されました。
私たちが提案する方法は、ネットワークのサイズまたはターゲットのスパース性が大きい場合に SoTA よりも優れたパフォーマンスを発揮します。おそらくノイズの多いデータ、アナログ メモリ、または敵対的な攻撃によるノイズの多い勾配が存在する場合、利得はさらに大きくなります。
特に、私たちが提案した方法は、ネットワーク パラメータの 4 分の 1 未満が残っている状態で、MobileNetV1 の精度で 6% の改善とテスト損失で 8% の改善を達成しました。

要約(オリジナル)

This study tackles the issue of neural network pruning that inaccurate gradients exist when computing the empirical Fisher Information Matrix (FIM). We introduce SWAP, an Entropic Wasserstein regression (EWR) network pruning formulation, capitalizing on the geometric attributes of the optimal transport (OT) problem. The ‘swap’ of a commonly used standard linear regression (LR) with the EWR in optimization is analytically showcased to excel in noise mitigation by adopting neighborhood interpolation across data points, yet incurs marginal extra computational cost. The unique strength of SWAP is its intrinsic ability to strike a balance between noise reduction and covariance information preservation. Extensive experiments performed on various networks show comparable performance of SWAP with state-of-the-art (SoTA) network pruning algorithms. Our proposed method outperforms the SoTA when the network size or the target sparsity is large, the gain is even larger with the existence of noisy gradients, possibly from noisy data, analog memory, or adversarial attacks. Notably, our proposed method achieves a gain of 6% improvement in accuracy and 8% improvement in testing loss for MobileNetV1 with less than one-fourth of the network parameters remaining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google