One-Shot Multi-Rate Pruning of Graph Convolutional Networks

要約

この論文では、ネットワーク トポロジと重みを共同でトレーニングする、マルチレート マグニチュード プルーニング (MRMP) と呼ばれる新しい軽量のグラフ畳み込みネットワーク (GCN) 設計を考案します。
私たちの方法は変分的であり、学習されたネットワークの重み分布をアプリオリ分布に合わせることで進められます。
これにより、一方では、任意の固定プルーニング レートを実装できるようになり、設計された軽量 GCN の汎化パフォーマンスも向上します。
一方、MRMP は、重みを再トレーニングすることなく、目標とする枝刈りレートで正確なネットワークを推定するために、共有重みに基づいて複数の GCN の共同トレーニングを実現します。
スケルトンベースの認識という困難なタスクに関して行われた広範な実験では、特に非常に高い枝刈りレジームで軽量 GCN が大幅に向上することが示されています。

要約(オリジナル)

In this paper, we devise a novel lightweight Graph Convolutional Network (GCN) design dubbed as Multi-Rate Magnitude Pruning (MRMP) that jointly trains network topology and weights. Our method is variational and proceeds by aligning the weight distribution of the learned networks with an a priori distribution. In the one hand, this allows implementing any fixed pruning rate, and also enhancing the generalization performances of the designed lightweight GCNs. In the other hand, MRMP achieves a joint training of multiple GCNs, on top of shared weights, in order to extrapolate accurate networks at any targeted pruning rate without retraining their weights. Extensive experiments conducted on the challenging task of skeleton-based recognition show a substantial gain of our lightweight GCNs particularly at very high pruning regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google