Large Language Models Meet Knowledge Graphs to Answer Factoid Questions

要約

近年、大規模言語モデルに構造化知識を組み込むことで、様々な自然言語処理タスクの結果が大幅に改善されることが示されている。本論文では、知識グラフからの追加情報で強化された事前学習済みText-to-Text言語モデルをファクトイド質問に答えるために探索する方法を提案する。具体的には、質問エンティティと回答候補に基づく知識グラフからの部分グラフ抽出アルゴリズムを提案する。そして、抽出された部分グラフを線形化することにより、Transformerベースのモデルで解釈しやすい情報を得る。抽出された情報を用いて回答候補の最終的な再ランク付けを行うことで、事前に訓練されたText-to-Text言語モデルのHits@1スコアを4-6%向上させる。

要約(オリジナル)

Recently, it has been shown that the incorporation of structured knowledge into Large Language Models significantly improves the results for a variety of NLP tasks. In this paper, we propose a method for exploring pre-trained Text-to-Text Language Models enriched with additional information from Knowledge Graphs for answering factoid questions. More specifically, we propose an algorithm for subgraphs extraction from a Knowledge Graph based on question entities and answer candidates. Then, we procure easily interpreted information with Transformer-based models through the linearization of the extracted subgraphs. Final re-ranking of the answer candidates with the extracted information boosts Hits@1 scores of the pre-trained text-to-text language models by 4-6%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL