Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum

要約

消費電力と貯蔵の利用に関して効率を改善するために、過剰なパラメータ化された再発性ニューラルネットワークのために、さまざまな剪定方法が導入されています。
これらの進歩は、「Hyperpruning」と呼ばれる新しいパラダイムを動機付け、特定のネットワークアーキテクチャとアプリケーションに最も適した剪定戦略を特定しようとしています。
最適な構成の精度が不確実なままである従来のハイパーパラメーター検索とは異なり、ネットワークの剪定のコンテキストでは、高密度モデルの精度が剪定されたものの精度のターゲットを設定します。
したがって、目標は、この確立された精度に一致するか、それを上回る剪定されたバリアントを発見することです。
ただし、プルーニング構成をめぐる徹底的な検索は計算的に高価であり、早期のパフォーマンス保証がありません。
この課題に対処するために、剪定されたネットワークと密なネットワークを早期に比較できる新しいリアプノフスペクトル（LS）ベースの距離メトリックを提案し、トレーニング後のパフォーマンスの正確な予測を可能にします。
このLSベースの距離を標準のハイパーパラメーター最適化アルゴリズムと統合することにより、LSベースのHyperPruning（LSH）と呼ばれる効率的なハイパープルーニングフレームワークを導入します。
LSHは、完全なトレーニングに依存する従来のアプローチと比較して、検索時間を数桁短縮します。
Penn TreeBankデータセットを使用した積み重ねられたLSTMおよびRHNアーキテクチャの実験、およびWikitext-2を使用したAWD-LSTM-MOSでは、固定トレーニング予算とターゲットプルーニング比の下で、LSHは一貫して優れた剪定モデルを識別することを示しています。
驚くべきことに、これらの剪定されたバリアントは、損失ベースのベースラインによって選択されたものよりも優れたバリアントを上回るだけでなく、密集したカウンターパートのパフォーマンスを超えています。

要約(オリジナル)

A variety of pruning methods have been introduced for over-parameterized Recurrent Neural Networks to improve efficiency in terms of power consumption and storage utilization. These advances motivate a new paradigm, termed `hyperpruning’, which seeks to identify the most suitable pruning strategy for a given network architecture and application. Unlike conventional hyperparameter search, where the optimal configuration’s accuracy remains uncertain, in the context of network pruning, the accuracy of the dense model sets the target for the accuracy of the pruned one. The goal, therefore, is to discover pruned variants that match or even surpass this established accuracy. However, exhaustive search over pruning configurations is computationally expensive and lacks early performance guarantees. To address this challenge, we propose a novel Lyapunov Spectrum (LS)-based distance metric that enables early comparison between pruned and dense networks, allowing accurate prediction of post-training performance. By integrating this LS-based distance with standard hyperparameter optimization algorithms, we introduce an efficient hyperpruning framework, termed LS-based Hyperpruning (LSH). LSH reduces search time by an order of magnitude compared to conventional approaches relying on full training. Experiments on stacked LSTM and RHN architectures using the Penn Treebank dataset, and on AWD-LSTM-MoS using WikiText-2, demonstrate that under fixed training budgets and target pruning ratios, LSH consistently identifies superior pruned models. Remarkably, these pruned variants not only outperform those selected by loss-based baseline but also exceed the performance of their dense counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google