GrapeQA: GRaph Augmentation and Pruning to Enhance Question-Answering

要約

常識的な質問応答 (QA) メソッドは、事前トレーニング済みの言語モデル (LM) の能力と、ナレッジ グラフ (KG) によって提供される推論を組み合わせます。
典型的なアプローチでは、KG から QA ペアに関連するノードを収集してワーキング グラフ (WG) を形成し、続いてグラフ ニューラル ネットワーク (GNN) を使用して推論します。
これには 2 つの大きな課題があります。(i) WG で QA からすべての情報を取得することは困難であり、(ii) WG には KG からの無関係なノードが含まれています。
これらに対処するために、WG に 2 つの簡単な改善を加えた GrapeQA を提案します。(i) グラフ拡張のためのプロミネント エンティティは、QA ペアから関連するテキスト チャンクを識別し、LM からの対応する潜在表現で WG を拡張します。(ii) コンテキスト認識
ノード プルーニングは、QA ペアとの関連性が低いノードを削除します。
OpenBookQA、CommonsenseQA、および MedQA-USMLE で結果を評価し、GrapeQA が LM + KG の前身 (特に QA-GNN) よりも一貫した改善を示し、OpenBookQA で大幅な改善を示していることがわかります。

要約(オリジナル)

Commonsense question-answering (QA) methods combine the power of pre-trained Language Models (LM) with the reasoning provided by Knowledge Graphs (KG). A typical approach collects nodes relevant to the QA pair from a KG to form a Working Graph (WG) followed by reasoning using Graph Neural Networks(GNNs). This faces two major challenges: (i) it is difficult to capture all the information from the QA in the WG, and (ii) the WG contains some irrelevant nodes from the KG. To address these, we propose GrapeQA with two simple improvements on the WG: (i) Prominent Entities for Graph Augmentation identifies relevant text chunks from the QA pair and augments the WG with corresponding latent representations from the LM, and (ii) Context-Aware Node Pruning removes nodes that are less relevant to the QA pair. We evaluate our results on OpenBookQA, CommonsenseQA and MedQA-USMLE and see that GrapeQA shows consistent improvements over its LM + KG predecessor (QA-GNN in particular) and large improvements on OpenBookQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google