Using Cooperative Game Theory to Prune Neural Networks

要約

協力ゲーム理論の解決策の概念を使用して、ニューラル ネットワークの枝刈りの問題に取り組む方法を示します。
ディープ ニューラル ネットワーク (DNN) のサイズは成長を続けており、そのパフォーマンスだけでなく、計算要件も増加しています。
ゲーム理論支援プルーニング (GTAP) と呼ばれる手法を導入します。これは、予測精度を維持しながらニューラル ネットワークのサイズを削減します。
GTAP は、ゲーム理論的なソリューションを通じて、予測品質に対するニューロンの共同影響の推定に基づいて、ネットワーク内のニューロンを排除することに基づいています。
具体的には、Shapley 値や Banzhaf 指数に似た検出力指数を使用し、Dropout (機械学習の過学習問題に取り組むためによく使用される) と同様の手順を使用して調整します。
フィードフォワード ネットワークと畳み込みニューラル ネットワークの両方の経験的評価では、この方法がパラメーターの数とモデルの精度の間で達成されるトレードオフにおいて既存のアプローチよりも優れていることが示されています。

要約(オリジナル)

We show how solution concepts from cooperative game theory can be used to tackle the problem of pruning neural networks. The ever-growing size of deep neural networks (DNNs) increases their performance, but also their computational requirements. We introduce a method called Game Theory Assisted Pruning (GTAP), which reduces the neural network’s size while preserving its predictive accuracy. GTAP is based on eliminating neurons in the network based on an estimation of their joint impact on the prediction quality through game theoretic solutions. Specifically, we use a power index akin to the Shapley value or Banzhaf index, tailored using a procedure similar to Dropout (commonly used to tackle overfitting problems in machine learning). Empirical evaluation of both feedforward networks and convolutional neural networks shows that this method outperforms existing approaches in the achieved tradeoff between the number of parameters and model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google