Differentiable Transportation Pruning

要約

ディープラーニングアルゴリズムがエッジで採用されることが増えています。
ただし、エッジ デバイスはリソースに制約があるため、ディープ ニューラル ネットワークの効率的な展開が必要です。
プルーニング方法は、ストレージ、コンピューティング、メモリ帯域幅、エネルギー使用量を改善できるため、エッジ展開の重要なツールです。
この論文では、出力ネットワーク サイズの正確な制御を可能にする、新しい正確な枝刈り手法を提案します。
私たちの方法では、エンドツーエンドで微分可能にし、アルゴリズムの探査・活用動作を自動的に調整して正確な疎サブネットワークを見つける効率的な最適転送スキームを使用します。
私たちの手法は、3 つの異なるデータセットで、5 つの異なるモデルを使用し、幅広い枝刈り率にわたって、2 種類のスパースバジェットと枝刈り粒度を使用して、以前の枝刈り手法と比較して最先端のパフォーマンスを達成していることを示します。

要約(オリジナル)

Deep learning algorithms are increasingly employed at the edge. However, edge devices are resource constrained and thus require efficient deployment of deep neural networks. Pruning methods are a key tool for edge deployment as they can improve storage, compute, memory bandwidth, and energy usage. In this paper we propose a novel accurate pruning technique that allows precise control over the output network size. Our method uses an efficient optimal transportation scheme which we make end-to-end differentiable and which automatically tunes the exploration-exploitation behavior of the algorithm to find accurate sparse sub-networks. We show that our method achieves state-of-the-art performance compared to previous pruning methods on 3 different datasets, using 5 different models, across a wide range of pruning ratios, and with two types of sparsity budgets and pruning granularities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google