GETT-QA: Graph Embedding based T2T Transformer for Knowledge Graph Question Answering

要約

この作業では、GETT-QA という名前のエンド ツー エンドのナレッジ グラフ質問応答 (KGQA) システムを紹介します。
GETT-QA は、人気のあるテキストからテキストへの事前トレーニング済み言語モデルである T5 を使用します。
このモデルは、自然言語での質問を入力として受け取り、目的の SPARQL クエリのより単純な形式を生成します。
単純な形式では、モデルはエンティティ ID と関係 ID を直接生成しません。
代わりに、対応するエンティティと関係のラベルを生成します。
ラベルは、後続のステップで KG エンティティと関係 ID に基づいています。
結果をさらに改善するために、各エンティティの KG 埋め込みの切り詰められたバージョンを生成するようにモデルに指示します。
切り捨てられた KG 埋め込みにより、曖昧さをなくすためのより細かい検索が可能になります。
T5 は、損失関数を変更せずに切り捨てられた KG 埋め込みを学習できるため、KGQA のパフォーマンスが向上することがわかります。
その結果、ウィキデータを介したエンドツーエンドの KGQA で、LC-QuAD 2.0 および SimpleQuestions-ウィキデータ データセットの強力な結果を報告しています。

要約(オリジナル)

In this work, we present an end-to-end Knowledge Graph Question Answering (KGQA) system named GETT-QA. GETT-QA uses T5, a popular text-to-text pre-trained language model. The model takes a question in natural language as input and produces a simpler form of the intended SPARQL query. In the simpler form, the model does not directly produce entity and relation IDs. Instead, it produces corresponding entity and relation labels. The labels are grounded to KG entity and relation IDs in a subsequent step. To further improve the results, we instruct the model to produce a truncated version of the KG embedding for each entity. The truncated KG embedding enables a finer search for disambiguation purposes. We find that T5 is able to learn the truncated KG embeddings without any change of loss function, improving KGQA performance. As a result, we report strong results for LC-QuAD 2.0 and SimpleQuestions-Wikidata datasets on end-to-end KGQA over Wikidata.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google