Miniaturized Graph Convolutional Networks with Topologically Consistent Pruning

要約

マグニチュード プルーニングは、軽量アーキテクチャ設計における主流の手法の 1 つであり、その目的は最大の重み付け接続を持つサブネットワークを抽出することです。
この方法は成功することが知られていますが、非常に高度な枝刈り体制下では、抽出されたサブネットワークが切断されるトポロジー的不一致が発生し、一般化能力が妨げられます。
この論文では、トポロジーの一貫性を保証しながらサブネットワークを抽出できる新しいマグニチュード プルーニング手法を考案します。
後者により、結果として得られる軽量ネットワークには、アクセス可能かつ同時アクセス可能な (影響力のある) 接続のみが保持されることが保証されます。
私たちのソリューションは、新しい再パラメータ化と 2 つの監視双方向ネットワークに基づいており、アクセシビリティ/共同アクセシビリティを実装し、トレーニング中に接続されたサブネットワークのみが選択されることを保証します。
このソリューションにより、スケルトンベースのアクション認識という困難なタスクについて、グラフ畳み込みネットワークを含む広範な実験を通じて裏付けられたように、非常に高い枝刈りレジームの下で一般化を大幅に強化することができます。

要約(オリジナル)

Magnitude pruning is one of the mainstream methods in lightweight architecture design whose goal is to extract subnetworks with the largest weight connections. This method is known to be successful, but under very high pruning regimes, it suffers from topological inconsistency which renders the extracted subnetworks disconnected, and this hinders their generalization ability. In this paper, we devise a novel magnitude pruning method that allows extracting subnetworks while guarantying their topological consistency. The latter ensures that only accessible and co-accessible — impactful — connections are kept in the resulting lightweight networks. Our solution is based on a novel reparametrization and two supervisory bi-directional networks which implement accessibility/co-accessibility and guarantee that only connected subnetworks will be selected during training. This solution allows enhancing generalization significantly, under very high pruning regimes, as corroborated through extensive experiments, involving graph convolutional networks, on the challenging task of skeleton-based action recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google