BloomGML: Graph Machine Learning through the Lens of Bilevel Optimization

要約

バイレベル最適化とは、下位レベルのエネルギー関数の最適解が上位レベルの対象目標への入力特徴として機能するシナリオを指します。
これらの最適な機能は通常、バイレベル パイプライン全体をエンドツーエンドでトレーニングできるように、下位レベルのエネルギーの調整可能なパラメーターに依存します。
一般にはそのようには紹介されていませんが、この論文では、さまざまなグラフ学習手法を 2 レベル最適化またはその単純化の特別なケースとしてどのように再構築できるかを示します。
簡単に言うと、以前の研究に基づいて、まず、さまざまな降下ステップ (勾配降下法、近似法、運動量など) と組み合わせると、グラフ ニューラル ネットワーク (GNN) メッセージ パッシングを形成する、より柔軟なエネルギー関数のクラスを導出します。
層。
重要なことに、基になる構成要素であるメッセージパッシング関数に関して、残留近似誤差がどこにあるかを注意深くアンパックします。
次に、このフレームワークのいくつかの単純化を調べて、ナレッジ グラフの埋め込み、さまざまな形式のラベル伝播、効率的なグラフ正則化 MLP モデルなど、非 GNN ベースのグラフ学習アプローチとの密接な関係を導き出します。
そして最後に、提案するバイレベル レンズ (BloomGML と呼ぶ) の多用途性を実証する裏付けとなる実験結果を提示し、バイレベル最適化がより多くのグラフ機械学習を提供することに言及します。
私たちのコードは https://github.com/amberyzheng/BloomGML で入手できます。
グラフMLを咲かせましょう。

要約(オリジナル)

Bilevel optimization refers to scenarios whereby the optimal solution of a lower-level energy function serves as input features to an upper-level objective of interest. These optimal features typically depend on tunable parameters of the lower-level energy in such a way that the entire bilevel pipeline can be trained end-to-end. Although not generally presented as such, this paper demonstrates how a variety of graph learning techniques can be recast as special cases of bilevel optimization or simplifications thereof. In brief, building on prior work we first derive a more flexible class of energy functions that, when paired with various descent steps (e.g., gradient descent, proximal methods, momentum, etc.), form graph neural network (GNN) message-passing layers; critically, we also carefully unpack where any residual approximation error lies with respect to the underlying constituent message-passing functions. We then probe several simplifications of this framework to derive close connections with non-GNN-based graph learning approaches, including knowledge graph embeddings, various forms of label propagation, and efficient graph-regularized MLP models. And finally, we present supporting empirical results that demonstrate the versatility of the proposed bilevel lens, which we refer to as BloomGML, referencing that BiLevel Optimization Offers More Graph Machine Learning. Our code is available at https://github.com/amberyzheng/BloomGML. Let graph ML bloom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google