Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs

要約

セットベース学習は、現代の深層学習とネットワーク科学の重要な要素です。
グラフ ニューラル ネットワーク (GNN) とそのエッジフリーのディープセットは、不規則でトポロジ的に困難なデータセットで非常に役立つことが証明されています。
セット メンバーの有益な埋め込みを学習するための鍵は、指定された集計関数 (通常は合計、最大値、または平均) です。
我々は、ベイズ推論とグラフ集約の両方のデータセットに対して情報最適な埋め込みを学習するための集約戦略であるフィッシュネットを提案します。
i) フィッシュネットのニューラル サマリーは、任意の数のデータ オブジェクトに最適にスケーリングできること、ii) フィッシュネットの集約は、標準のディープセットとは異なり、データ分布の変化に対して堅牢であること、iii) フィッシュネットはベイジアン情報コンテンツを飽和させ、MCMC 技術が適用される領域に拡張することを実証します。
失敗する、および iv) フィッシュネットは、GNN 内のドロップイン集約スキームとして使用できます。
メッセージ パッシングにフィッシュネット集約スキームを採用することで、GNN は学習可能なパラメータの一部とより速いトレーニング時間で、既存のベンチマークを上回る ogbn タンパク質データのアーキテクチャ サイズに対して最先端のパフォーマンスを達成できることを示します。

要約(オリジナル)

Set-based learning is an essential component of modern deep learning and network science. Graph Neural Networks (GNNs) and their edge-free counterparts Deepsets have proven remarkably useful on ragged and topologically challenging datasets. The key to learning informative embeddings for set members is a specified aggregation function, usually a sum, max, or mean. We propose Fishnets, an aggregation strategy for learning information-optimal embeddings for sets of data for both Bayesian inference and graph aggregation. We demonstrate that i) Fishnets neural summaries can be scaled optimally to an arbitrary number of data objects, ii) Fishnets aggregations are robust to changes in data distribution, unlike standard deepsets, iii) Fishnets saturate Bayesian information content and extend to regimes where MCMC techniques fail and iv) Fishnets can be used as a drop-in aggregation scheme within GNNs. We show that by adopting a Fishnets aggregation scheme for message passing, GNNs can achieve state-of-the-art performance versus architecture size on ogbn-protein data over existing benchmarks with a fraction of learnable parameters and faster training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google