Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks

要約

NAS-GNN と呼ばれるグラフ ニューラル ネットワーク (GNN) 用のニューラル アーキテクチャ検索 (NAS) は、手動で設計された GNN アーキテクチャを上回る大幅なパフォーマンスを達成しました。
ただし、これらの手法は、高い計算コストや最適化の難しさなど、従来の NAS 手法からの問題を引き継いでいます。
さらに重要なことは、以前の NAS 手法では GNN の一意性が無視されており、GNN はトレーニングなしでも表現力を備えています。
ランダムに初期化された重みを使用すると、スパース コーディング目標を通じて最適なアーキテクチャ パラメーターを探索し、新しい NAS-GNN 手法、つまりニューラル アーキテクチャ コーディング (NAC) を導き出すことができます。
その結果、NAC は GNN 上で更新なしのスキームを保持し、線形時間で効率的に計算できます。
複数の GNN ベンチマーク データセットに対する経験的評価により、私たちのアプローチが最先端のパフォーマンスにつながり、強力なベースラインよりも最大 $200\time$ 高速かつ $18.8\%$ 精度が高いことが実証されました。

要約(オリジナル)

Neural architecture search (NAS) for Graph neural networks (GNNs), called NAS-GNNs, has achieved significant performance over manually designed GNN architectures. However, these methods inherit issues from the conventional NAS methods, such as high computational cost and optimization difficulty. More importantly, previous NAS methods have ignored the uniqueness of GNNs, where GNNs possess expressive power without training. With the randomly-initialized weights, we can then seek the optimal architecture parameters via the sparse coding objective and derive a novel NAS-GNNs method, namely neural architecture coding (NAC). Consequently, our NAC holds a no-update scheme on GNNs and can efficiently compute in linear time. Empirical evaluations on multiple GNN benchmark datasets demonstrate that our approach leads to state-of-the-art performance, which is up to $200\times$ faster and $18.8\%$ more accurate than the strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google