UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph

要約

ナレッジ グラフを介したマルチホップ質問応答 ~ (KGQA) は、大規模なナレッジ グラフ (KG) 上の自然言語の質問で言及されているトピック エンティティから複数ホップ離れた回答エンティティを見つけることを目的としています。
膨大な検索空間に対処するために、既存の研究では通常、2 段階のアプローチが採用されています。まず、質問に関連する比較的小さなサブグラフを取得し、サブグラフに対して推論を実行して、回答エンティティを正確に見つけます。
これらの 2 つの段階は非常に関連性がありますが、以前の研究では、検索モデルと推論モデルを開発するために非常に異なる技術的ソリューションが採用されており、タスクの本質におけるそれらの関連性は無視されていました。
この論文では、モデルアーキテクチャとパラメータ学習の両方で検索と推論を統合することにより、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案します。
モデル アーキテクチャの場合、UniKGQA は、質問関係セマンティック マッチング用の事前トレーニング済み言語モデル (PLM) に基づくセマンティック マッチング モジュールと、KG の有向エッジに沿ってマッチング情報を伝播するマッチング情報伝播モジュールで構成されます。
パラメータ学習では、検索モデルと推論モデルの両方の質問関係マッチングに基づいて共有される事前トレーニング タスクを設計し、検索および推論指向の微調整戦略を提案します。
以前の研究と比較して、私たちのアプローチはより統一されており、検索段階と推論段階が密接に関連しています。
3 つのベンチマーク データセットでの広範な実験により、マルチホップ KGQA タスクに対するこの方法の有効性が実証されました。
私たちのコードとデータは、~\url{https://github.com/RUCAIBox/UniKGQA} で公開されています。

要約(オリジナル)

Multi-hop Question Answering over Knowledge Graph~(KGQA) aims to find the answer entities that are multiple hops away from the topic entities mentioned in a natural language question on a large-scale Knowledge Graph (KG). To cope with the vast search space, existing work usually adopts a two-stage approach: it first retrieves a relatively small subgraph related to the question and then performs the reasoning on the subgraph to find the answer entities accurately. Although these two stages are highly related, previous work employs very different technical solutions for developing the retrieval and reasoning models, neglecting their relatedness in task essence. In this paper, we propose UniKGQA, a novel approach for multi-hop KGQA task, by unifying retrieval and reasoning in both model architecture and parameter learning. For model architecture, UniKGQA consists of a semantic matching module based on a pre-trained language model~(PLM) for question-relation semantic matching, and a matching information propagation module to propagate the matching information along the directed edges on KGs. For parameter learning, we design a shared pre-training task based on question-relation matching for both retrieval and reasoning models, and then propose retrieval- and reasoning-oriented fine-tuning strategies. Compared with previous studies, our approach is more unified, tightly relating the retrieval and reasoning stages. Extensive experiments on three benchmark datasets have demonstrated the effectiveness of our method on the multi-hop KGQA task. Our codes and data are publicly available at~\url{https://github.com/RUCAIBox/UniKGQA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google