Training Lightweight Graph Convolutional Networks with Phase-field Models

要約

このホワイト ペーパーでは、フェーズ フィールド モデル (PFM) と呼ばれる特定のクラスの正則化器を使用して、軽量のグラフ畳み込みネットワーク (GCN) を設計します。
PFM は、単一の「エンドツーエンド」最適化問題の一部として、GCN のトポロジと重みパラメーターの両方をトレーニングできる特定の超ローカル項を使用して、バイフェーズ動作を示します。
私たちが提案するソリューションは、トポロジーのマスクをバイナリ値に向けてプッシュする再パラメーター化にも依存しており、ターゲットを絞ったプルーニング レートを実装しながら、効果的なトポロジーの選択と高度な一般化につながります。
マスクと重みの両方が潜在変数の同じセットを共有するため、結果として得られる軽量 GCN の一般化能力がさらに強化されます。
スケルトンベースの認識の挑戦的なタスクで行われた広範な実験は、他の主要な正則化および関連する軽量設計方法に対する PFM の優れたパフォーマンスを示しています。

要約(オリジナル)

In this paper, we design lightweight graph convolutional networks (GCNs) using a particular class of regularizers, dubbed as phase-field models (PFMs). PFMs exhibit a bi-phase behavior using a particular ultra-local term that allows training both the topology and the weight parameters of GCNs as a part of a single ‘end-to-end’ optimization problem. Our proposed solution also relies on a reparametrization that pushes the mask of the topology towards binary values leading to effective topology selection and high generalization while implementing any targeted pruning rate. Both masks and weights share the same set of latent variables and this further enhances the generalization power of the resulting lightweight GCNs. Extensive experiments conducted on the challenging task of skeleton-based recognition show the outperformance of PFMs against other staple regularizers as well as related lightweight design methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google