DASS: Differentiable Architecture Search for Sparse neural networks

要約

タイトル：スパースニューラルネットワークのための差分可能なアーキテクチャ検索（DASS）

要約：ダイレクト新規型エッジデバイスCPU/メモリ・バンド幅制約のため、ディープニューラルネットワーク（DNNs）は、パフォーマンス需用と利用可能処理能力との間に存在する大規模なギャップによって遅延し、近年の研究でも、DNNsの演算負担を減らすためのスパースネットワークを構築する剪定方法を開発することが重要視されています。ただ、高い剪定比率では特に精度損失が大きくなります。この論文では、スパースネットワーク用にデザインされたアーキテクチャサーチメソッドが現在は不十分であることがわかりました。主な理由は、現在の方法がスパース構造をサポートしていないためであり、ある目的をもつ密集ネットワークに設計されたもので、スパース性に注意を払っていません。ここでは、スパースに適したニューラルアーキテクチャを検索するための新しい方法を提案します。2つの新しいスパース操作を検索スペースに追加し、検索目的を変更することによって行ないます。SpaseConvとSparseLinearという2つの新しいパラメトリックなスパース操作を提案しています。これにより、DASSは、CIFAR-10およびImageNetデータセットで最先端のスパースネットワークで使用されているアーキテクチャよりも優れたアーキテクチャを設計できることがわかり、モバイルネット-v2の精度を73.44％から81.35％（+7.91％の改善）に向上させ、3.87倍の高速な推論時間を実現できます。

要約(オリジナル)

The deployment of Deep Neural Networks (DNNs) on edge devices is hindered by the substantial gap between performance requirements and available processing power. While recent research has made significant strides in developing pruning methods to build a sparse network for reducing the computing overhead of DNNs, there remains considerable accuracy loss, especially at high pruning ratios. We find that the architectures designed for dense networks by differentiable architecture search methods are ineffective when pruning mechanisms are applied to them. The main reason is that the current method does not support sparse architectures in their search space and uses a search objective that is made for dense networks and does not pay any attention to sparsity. In this paper, we propose a new method to search for sparsity-friendly neural architectures. We do this by adding two new sparse operations to the search space and modifying the search objective. We propose two novel parametric SparseConv and SparseLinear operations in order to expand the search space to include sparse operations. In particular, these operations make a flexible search space due to using sparse parametric versions of linear and convolution operations. The proposed search objective lets us train the architecture based on the sparsity of the search space operations. Quantitative analyses demonstrate that our search architectures outperform those used in the stateof-the-art sparse networks on the CIFAR-10 and ImageNet datasets. In terms of performance and hardware effectiveness, DASS increases the accuracy of the sparse version of MobileNet-v2 from 73.44% to 81.35% (+7.91% improvement) with 3.87x faster inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI