FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion

要約

ナレッジ グラフ補完 (KGC) は、ナレッジ グラフ (KG) で欠落しているファクトを予測することを目的としています。これは、最新の KG がほとんど不完全なままであるため、非常に重要です。
複数の位置合わせされた KG で KGC モデルをトレーニングするとパフォーマンスが向上しますが、KG 間での生データの転送に依存する以前の方法ではプライバシーの懸念が生じます。
この課題に対処するために、生データの交換やエンティティの調整を必要とせずに、複数の KG からの知識を暗黙的に集約する新しいフェデレーション ラーニング フレームワークを提案します。
私たちは各 KG を、テキストベースの知識表現学習を通じてローカル言語モデルをトレーニングするクライアントとして扱います。
次に、中央サーバーがクライアントからのモデルの重みを集約します。
自然言語は普遍的な表現を提供するため、同じ知識は KG 間で同様の意味表現を持ちます。
そのため、集約された言語モデルは、生のユーザー データの共有を必要とせずに、多言語 KG からの補完的な知識を活用できます。
ベンチマーク データセットでの広範な実験により、私たちの方法が多言語 KG での KGC を大幅に改善し、ラベル付きアライメントや生のユーザー データの共有を必要とせずに、最先端のアライメント ベースのモデルと同等のパフォーマンスを達成できることが実証されました。
私たちのコードは公開されます。

要約(オリジナル)

Knowledge graph completion (KGC) aims to predict missing facts in knowledge graphs (KGs), which is crucial as modern KGs remain largely incomplete. While training KGC models on multiple aligned KGs can improve performance, previous methods that rely on transferring raw data among KGs raise privacy concerns. To address this challenge, we propose a new federated learning framework that implicitly aggregates knowledge from multiple KGs without demanding raw data exchange and entity alignment. We treat each KG as a client that trains a local language model through textbased knowledge representation learning. A central server then aggregates the model weights from clients. As natural language provides a universal representation, the same knowledge thus has similar semantic representations across KGs. As such, the aggregated language model can leverage complementary knowledge from multilingual KGs without demanding raw user data sharing. Extensive experiments on a benchmark dataset demonstrate that our method substantially improves KGC on multilingual KGs, achieving comparable performance to state-of-the-art alignment-based models without requiring any labeled alignments or raw user data sharing. Our codes will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google