PAC-Bayesian Generalization Bounds for Knowledge Graph Representation Learning

要約

知識グラフ表現学習(KGRL)手法は過去10年間に数多く提案されてきたが、理論的な解析はほとんど行われていない。本稿では、KGRL手法に対する最初のPAC-ベイズ汎化境界を提示する。KGRLモデルの広範なクラスを解析するために、ReED(Relation-aware Encoder-Decoder)と名付けられた汎用的なフレームワークを提案する。我々のReEDフレームワークは、R-GCNやCompGCNのようなグラフニューラルネットワークベースのモデルだけでなく、RotatEやANALOGYのようなシャローアーキテクチャモデルを含む、少なくとも15種類の既存のKGRLモデルを表現することができる。ReEDフレームワークに対する我々の汎化境界は、KGRLでよく使われるトリック、例えばパラメータ共有や重み正規化スキームに対する理論的根拠を提供し、実用的なKGRL手法の望ましい設計選択を導く。我々の汎化境界における重要な因子が、3つの実世界の知識グラフにおける実際の汎化誤差を説明できることを実証的に示す。

要約(オリジナル)

While a number of knowledge graph representation learning (KGRL) methods have been proposed over the past decade, very few theoretical analyses have been conducted on them. In this paper, we present the first PAC-Bayesian generalization bounds for KGRL methods. To analyze a broad class of KGRL models, we propose a generic framework named ReED (Relation-aware Encoder-Decoder), which consists of a relation-aware message passing encoder and a triplet classification decoder. Our ReED framework can express at least 15 different existing KGRL models, including not only graph neural network-based models such as R-GCN and CompGCN but also shallow-architecture models such as RotatE and ANALOGY. Our generalization bounds for the ReED framework provide theoretical grounds for the commonly used tricks in KGRL, e.g., parameter-sharing and weight normalization schemes, and guide desirable design choices for practical KGRL methods. We empirically show that the critical factors in our generalization bounds can explain actual generalization errors on three real-world knowledge graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL