Structured Pruning for Multi-Task Deep Neural Networks

要約

タイトル：マルチタスクのディープニューラルネットワークに対する構造化剪定

要約：

– マルチタスクのDNNモデルは単一タスクのDNNモデルよりも計算量やストレージの利点があるが、モデルの圧縮によるさらなる最適化が必要。
– 多数の構造化剪定方法がすでに単一タスクモデルでスピードアップを達成できるように開発されているが、マルチタスクネットワークの剪定はまだ十分に研究されていない。
– この研究では、構造化剪定がマルチタスクモデルにおいてどのように効果的かを調査する。
– 既存の単一タスクフィルタ剪定基準を使用し、フィルタの重要度スコアを推定するためのMTLベースのフィルタ剪定基準も導入する。
– 両方の剪定方法を用いた反復剪定戦略でモデルを剪定する。
– ハイパーパラメーターの細かい調整により、異なる剪定方法から得られるアーキテクチャのタスク毎のパフォーマンスには、パラメータ数が同じ場合に有意な差はないことを示す。
– 極端な剪定レベルでは、全てのタスクにおいてパフォーマンスが大幅に低下するため、反復構造剪定が良いモデルのパフォーマンスを得るための最適な方法ではないことを示し、同じモデルをランダムに初期化して再学習すると、より良い結果が得られることを示す。

要約(オリジナル)

Although multi-task deep neural network (DNN) models have computation and storage benefits over individual single-task DNN models, they can be further optimized via model compression. Numerous structured pruning methods are already developed that can readily achieve speedups in single-task models, but the pruning of multi-task networks has not yet been extensively studied. In this work, we investigate the effectiveness of structured pruning on multi-task models. We use an existing single-task filter pruning criterion and also introduce an MTL-based filter pruning criterion for estimating the filter importance scores. We prune the model using an iterative pruning strategy with both pruning methods. We show that, with careful hyper-parameter tuning, architectures obtained from different pruning methods do not have significant differences in their performances across tasks when the number of parameters is similar. We also show that iterative structure pruning may not be the best way to achieve a well-performing pruned model because, at extreme pruning levels, there is a high drop in performance across all tasks. But when the same models are randomly initialized and re-trained, they show better results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI