Select and Augment: Enhanced Dense Retrieval Knowledge Graph Augmentation

要約

ナレッジ グラフ (KG) エンティティ表現にテキスト情報を挿入することは、NLP コミュニティ内の KG 指向のタスクのパフォーマンスを向上させるという点で価値のある取り組みでした。
KG 埋め込みを強化するためによく採​​用される外部知識は、意味論的に豊富な語彙依存関係解析機能から、関連するキーワードのセット、wikipedia などの外部コーパスから提供されるテキスト全体の説明まで多岐にわたります。
この技術革新 (テキスト拡張 KG 埋め込み) によって得られた利点にもかかわらず、この研究の提案は、それをさらに改善できることを示唆しています。
単一のテキスト記述 (テキストの固有の語彙的あいまいさのため、エンティティを十分に表現できない) を使用する代わりに、KG エンティティに関連する一連のテキスト記述を共同で選択し、整列または拡張するマルチタスク フレームワークを提案します。
テキスト説明を含む KG 埋め込み。
ナレッジ ベースで宣言された正式なエンティティの説明をプラグインする以前の研究とは異なり、このフレームワークは取得モデルを活用して、エンティティの拡張に使用する、より豊富な、または関連性の高いテキストの説明を選択的に識別します。
さらに、フレームワークは拡張プロセスで使用する記述の数をパラメータとして扱うため、適切な数を特定する前に複数の数値を柔軟に列挙できます。
リンク予測の実験結果は、従来の CNN を使用したテキスト強化ナレッジ グラフ拡張手法と比較して、平均逆数ランク (MRR) と Hits@10 スコアがそれぞれ 5.5% と 3.5% 増加したことを示しています。

要約(オリジナル)

Injecting textual information into knowledge graph (KG) entity representations has been a worthwhile expedition in terms of improving performance in KG oriented tasks within the NLP community. External knowledge often adopted to enhance KG embeddings ranges from semantically rich lexical dependency parsed features to a set of relevant key words to entire text descriptions supplied from an external corpus such as wikipedia and many more. Despite the gains this innovation (Text-enhanced KG embeddings) has made, the proposal in this work suggests that it can be improved even further. Instead of using a single text description (which would not sufficiently represent an entity because of the inherent lexical ambiguity of text), we propose a multi-task framework that jointly selects a set of text descriptions relevant to KG entities as well as align or augment KG embeddings with text descriptions. Different from prior work that plugs formal entity descriptions declared in knowledge bases, this framework leverages a retriever model to selectively identify richer or highly relevant text descriptions to use in augmenting entities. Furthermore, the framework treats the number of descriptions to use in augmentation process as a parameter, which allows the flexibility of enumerating across several numbers before identifying an appropriate number. Experiment results for Link Prediction demonstrate a 5.5% and 3.5% percentage increase in the Mean Reciprocal Rank (MRR) and Hits@10 scores respectively, in comparison to text-enhanced knowledge graph augmentation methods using traditional CNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google