Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA

要約

Knowledge Base Question Answering (KBQA) は、KB 内のエンティティや関係などの事実情報を使用して自然言語の質問に答えることを目的としています。
ただし、従来の事前トレーニング済み言語モデル (PLM) は、大規模な自然言語コーパスで直接事前トレーニングされるため、構造化された KB 内の複雑なサブグラフを理解して表現する際に課題が生じます。
テキストと構造化された KB の間のギャップを埋めるために、構造化知識を意識した事前トレーニング方法 (SKP) を提案します。
事前トレーニング段階では、2 つの新しい構造化された知識認識タスクを導入し、暗黙の関係と複雑なサブグラフのより適切な表現を効果的に学習するようにモデルを導きます。
下流の KBQA タスクでは、効率的な線形化戦略とインターバル アテンション メカニズムをさらに設計します。これにより、モデルが複雑なサブグラフをより適切にエンコードし、推論中に無関係なサブグラフの干渉をシールドできるようになります。
WebQSP での詳細な実験と分析により、SKP の有効性、特にサブグラフ検索の大幅な改善 (+4.08% H@10) が検証されました。

要約(オリジナル)

Knowledge Base Question Answering (KBQA) aims to answer natural language questions with factual information such as entities and relations in KBs. However, traditional Pre-trained Language Models (PLMs) are directly pre-trained on large-scale natural language corpus, which poses challenges for them in understanding and representing complex subgraphs in structured KBs. To bridge the gap between texts and structured KBs, we propose a Structured Knowledge-aware Pre-training method (SKP). In the pre-training stage, we introduce two novel structured knowledge-aware tasks, guiding the model to effectively learn the implicit relationship and better representations of complex subgraphs. In downstream KBQA task, we further design an efficient linearization strategy and an interval attention mechanism, which assist the model to better encode complex subgraphs and shield the interference of irrelevant subgraphs during reasoning respectively. Detailed experiments and analyses on WebQSP verify the effectiveness of SKP, especially the significant improvement in subgraph retrieval (+4.08% H@10).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google