Fast Online Node Labeling for Very Large Graphs

要約

この論文では、変換学習設定の下でオンライン ノード分類問題を研究します。
現在の手法は、$\mathcal{O}(n^3)$ ランタイムと $\mathcal{O}(n^2)$ 空間複雑度を使用してグラフ カーネル行列を反転するか、大量のランダムなスパニング ツリーをサンプリングするかのいずれかであるため、困難です。
大きなグラフに拡大縮小します。
この研究では、一連の研究 (Rakhlin et al.,2012; Rakhlin and Sridharan, 2015; 2017) で導入された \textit{オンライン リラクゼーション} テクニックに基づく改善を提案します。
まず、適切なパラメータ化されたグラフ カーネルが選択された場合の効果的なリグレット $\mathcal{O}(\sqrt{n^{1+\gamma}})$ を証明し、次に $\mathcal{O}(k
\sqrt{n^{1+\gamma}})$ はこの緩和に基づいて後悔しています。
FastONL の鍵となるのは、逆行列の列を効果的に近似し、一連の一般的なカーネルに適用する \textit{一般化されたローカル プッシュ} メソッドです。
さらに、予測ごとのコストは、線形メモリ コストのグラフに局所的に依存する $\mathcal{O}(\text{vol}({\mathcal{S}})\log 1/\epsilon)$ です。
実験の結果、私たちのスケーラブルな手法は、ローカルとグローバルの一貫性の間でより良いトレードオフを享受できることがわかりました。

要約(オリジナル)

This paper studies the online node classification problem under a transductive learning setting. Current methods either invert a graph kernel matrix with $\mathcal{O}(n^3)$ runtime and $\mathcal{O}(n^2)$ space complexity or sample a large volume of random spanning trees, thus are difficult to scale to large graphs. In this work, we propose an improvement based on the \textit{online relaxation} technique introduced by a series of works (Rakhlin et al.,2012; Rakhlin and Sridharan, 2015; 2017). We first prove an effective regret $\mathcal{O}(\sqrt{n^{1+\gamma}})$ when suitable parameterized graph kernels are chosen, then propose an approximate algorithm FastONL enjoying $\mathcal{O}(k\sqrt{n^{1+\gamma}})$ regret based on this relaxation. The key of FastONL is a \textit{generalized local push} method that effectively approximates inverse matrix columns and applies to a series of popular kernels. Furthermore, the per-prediction cost is $\mathcal{O}(\text{vol}({\mathcal{S}})\log 1/\epsilon)$ locally dependent on the graph with linear memory cost. Experiments show that our scalable method enjoys a better tradeoff between local and global consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google