Extracting Effective Subnetworks with Gumbel-Softmax

要約

大規模でパフォーマンスの高いニューラル ネットワークは、多くの場合、パラメーターが過剰に設定されており、プルーニングによってサイズと複雑さを大幅に削減できます。
プルーニングは、ネットワーク内の冗長または不要な重みまたは重みのグループを削除しようとする一連の方法です。
これらの技術により、軽量ネットワークの作成が可能になります。これは、組み込みまたはモバイル アプリケーションで特に重要です。
この論文では、トレーニングされていない大きなサブネットワークから効果的なサブネットワークを抽出できる代替の枝刈り方法を考案します。
私たちの方法は確率論的であり、Gumbel Softmax を使用してサンプリングされたさまざまなトポロジを探索することにより、サブネットワークを抽出します。
後者は、サンプリングされたトポロジの重みの関連性を測定する確率分布のトレーニングにも使用されます。
結果として得られるサブネットワークは、トレーニング時間を短縮し、パフォーマンスを向上させる非常に効率的な再スケーリング メカニズムを使用してさらに強化されます。
CIFARで実施された広範な実験は、関連する作業に対するサブネットワーク抽出方法の優れたパフォーマンスを示しています。

要約(オリジナル)

Large and performant neural networks are often overparameterized and can be drastically reduced in size and complexity thanks to pruning. Pruning is a group of methods, which seeks to remove redundant or unnecessary weights or groups of weights in a network. These techniques allow the creation of lightweight networks, which are particularly critical in embedded or mobile applications. In this paper, we devise an alternative pruning method that allows extracting effective subnetworks from larger untrained ones. Our method is stochastic and extracts subnetworks by exploring different topologies which are sampled using Gumbel Softmax. The latter is also used to train probability distributions which measure the relevance of weights in the sampled topologies. The resulting subnetworks are further enhanced using a highly efficient rescaling mechanism that reduces training time and improves performance. Extensive experiments conducted on CIFAR show the outperformance of our subnetwork extraction method against the related work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google