GrapeQA: GRaph Augmentation and Pruning to Enhance Question-Answering

要約

タイトル：GrapeQA：グラフ強化と剪定による質問応答の強化
要約：

– ・グラフと言語モデルを組み合わせたコモンセンス質問応答(QA)方法では、質問応答ペアに関連するノードを知識グラフ(KG)から集めてワーキンググラフ(WG)を作成し、グラフニューラルネットワーク(GNNs)を使用して推論します。
– ・WGの問題点は、QAからすべての情報を把握することが困難であり、KGから無関係なノードが含まれていることです。
– ・これらの問題に対応するために、GrapeQAは、(i) WGをグラフ強化するためのProminent Entities、(ii) QAペアに関連性が低いノードを削除するためのContext-Aware Node Pruningという2つの単純な改善を提案しています。
– ・OpenBookQA、CommonsenseQA、MedQA-USMLEで評価した結果、GrapeQAは、従来のQA-GNNよりも一貫して改善が見られ、特にOpenBookQAで大きな改善を示しました。

要約(オリジナル)

Commonsense question-answering (QA) methods combine the power of pre-trained Language Models (LM) with the reasoning provided by Knowledge Graphs (KG). A typical approach collects nodes relevant to the QA pair from a KG to form a Working Graph (WG) followed by reasoning using Graph Neural Networks(GNNs). This faces two major challenges: (i) it is difficult to capture all the information from the QA in the WG, and (ii) the WG contains some irrelevant nodes from the KG. To address these, we propose GrapeQA with two simple improvements on the WG: (i) Prominent Entities for Graph Augmentation identifies relevant text chunks from the QA pair and augments the WG with corresponding latent representations from the LM, and (ii) Context-Aware Node Pruning removes nodes that are less relevant to the QA pair. We evaluate our results on OpenBookQA, CommonsenseQA and MedQA-USMLE and see that GrapeQA shows consistent improvements over its LM + KG predecessor (QA-GNN in particular) and large improvements on OpenBookQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI