PAC-Bayesian Generalization Bounds for Knowledge Graph Representation Learning

要約

過去 10 年間に多くの知識グラフ表現学習 (KGRL) 手法が提案されてきましたが、それらについて理論的な分析が行われたことはほとんどありません。
この論文では、KGRL 手法に対する最初の PAC ベイジアン一般化限界を提示します。
広範なクラスの KGRL モデルを分析するために、ReED (Relation-aware Encoder-Decoder) という名前の汎用フレームワークを提案します。これは、関係を意識したメッセージ パッシング エンコーダーとトリプレット分類デコーダーで構成されます。
当社の ReED フレームワークは、R-GCN や CompGCN などのグラフ ニューラル ネットワーク ベースのモデルだけでなく、RotatE や ANALOGY などの浅いアーキテクチャ モデルを含む、少なくとも 15 の異なる既存の KGRL モデルを表現できます。
ReED フレームワークの一般化限界は、KGRL で一般的に使用されるトリック (パラメーター共有スキームや重み正規化スキームなど) の理論的根拠を提供し、実際の KGRL 手法に望ましい設計の選択を導きます。
私たちは、一般化限界内の重要な要素が 3 つの現実世界のナレッジ グラフ上の実際の一般化エラーを説明できることを経験的に示します。

要約(オリジナル)

While a number of knowledge graph representation learning (KGRL) methods have been proposed over the past decade, very few theoretical analyses have been conducted on them. In this paper, we present the first PAC-Bayesian generalization bounds for KGRL methods. To analyze a broad class of KGRL models, we propose a generic framework named ReED (Relation-aware Encoder-Decoder), which consists of a relation-aware message passing encoder and a triplet classification decoder. Our ReED framework can express at least 15 different existing KGRL models, including not only graph neural network-based models such as R-GCN and CompGCN but also shallow-architecture models such as RotatE and ANALOGY. Our generalization bounds for the ReED framework provide theoretical grounds for the commonly used tricks in KGRL, e.g., parameter-sharing and weight normalization schemes, and guide desirable design choices for practical KGRL methods. We empirically show that the critical factors in our generalization bounds can explain actual generalization errors on three real-world knowledge graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google