Peeking inside Sparse Neural Networks using Multi-Partite Graph Representations

要約

最新のディープ ニューラル ネットワーク (DNN) は、計算リソースを犠牲にして非常に高いパフォーマンスを達成しています。
計算負荷を軽減するために、ネットワーク パラメーターの数を減らしながらパフォーマンスを維持できる効率的なサブネットワークを特定の DNN から抽出するいくつかの手法が提案されています。
文献では、このようなサブネットワークを発見するための幅広いテクニックが提供されていますが、そのような刈り取られたアーキテクチャの特有のトポロジを研究した文献はほとんどありません。
この論文では、新しい \emph{unrolled input-aware} 二部グラフ エンコーディング (GE) を提案します。これは、スパースまたはデンス ニューラル ネットワークの各層に対して、その層との関係に基づいて対応するグラフ表現を生成できます。
入力データ。
また、レイヤー間の関係を把握するために、これを複数パートの GE に拡張します。
次に、トポロジ特性を活用して、既存の枝刈りアルゴリズムとアルゴリズム カテゴリの違い、およびトポロジとパフォーマンスの関係を研究します。

要約(オリジナル)

Modern Deep Neural Networks (DNNs) have achieved very high performance at the expense of computational resources. To decrease the computational burden, several techniques have proposed to extract, from a given DNN, efficient subnetworks which are able to preserve performance while reducing the number of network parameters. The literature provides a broad set of techniques to discover such subnetworks, but few works have studied the peculiar topologies of such pruned architectures. In this paper, we propose a novel \emph{unrolled input-aware} bipartite Graph Encoding (GE) that is able to generate, for each layer in an either sparse or dense neural network, its corresponding graph representation based on its relation with the input data. We also extend it into a multipartite GE, to capture the relation between layers. Then, we leverage on topological properties to study the difference between the existing pruning algorithms and algorithm categories, as well as the relation between topologies and performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google