Few-shot In-context Learning for Knowledge Base Question Answering

要約

タイトル: 知識ベース質問応答の Few-shot In-context Learning
要約:
– 知識ベース質問応答は、自然言語の多様な質問に対する一般化の難しさのため、困難な問題とされている。
– 異なる知識ベースのスキーマアイテムの異質性が、異なる知識ベース質問応答データセットの専門的なトレーニングを必要とすることが多い。
– 統一されたトレーニングフリーのフレームワークによる多様なKBQAデータセットの質問を処理するために、KB-BINDERを提案する。
– KB-BINDERは、Codexなどの大規模な言語モデルを活用して、質問に対するドラフトとして論理形式を生成し、いくつかのデモを模倣することによって、初めてのin-context学習を可能にする。
– そして、KB-BINDERは、生成されたドラフトを、BM25のスコアマッチングによって実行可能なものに結合するために、知識ベースに基づく。
– 公開されている4つの異種KBQAデータセットでの実験結果は、KB-BINDERがわずかなin-contextデモで強力なパフォーマンスを発揮できることを示している。
– 特に、GraphQAと3-hop MetaQAでは、KB-BINDERは、最新のトレーニング済みモデルよりもさらに優れた性能を発揮できる。
– GrailQAとWebQSPでは、KB-BINDERは他の完全にトレーニングされたモデルと同等のパフォーマンスを発揮する。
– KB-BINDERは、今後の研究の重要な基線として役立つことができると考えられる。

要約(オリジナル)

Question answering over knowledge bases is considered a difficult problem due to the challenge of generalizing to a wide variety of possible natural language questions. Additionally, the heterogeneity of knowledge base schema items between different knowledge bases often necessitates specialized training for different knowledge base question-answering (KBQA) datasets. To handle questions over diverse KBQA datasets with a unified training-free framework, we propose KB-BINDER, which for the first time enables few-shot in-context learning over KBQA tasks. Firstly, KB-BINDER leverages large language models like Codex to generate logical forms as the draft for a specific question by imitating a few demonstrations. Secondly, KB-BINDER grounds on the knowledge base to bind the generated draft to an executable one with BM25 score matching. The experimental results on four public heterogeneous KBQA datasets show that KB-BINDER can achieve a strong performance with only a few in-context demonstrations. Especially on GraphQA and 3-hop MetaQA, KB-BINDER can even outperform the state-of-the-art trained models. On GrailQA and WebQSP, our model is also on par with other fully-trained models. We believe KB-BINDER can serve as an important baseline for future research. Our code is available at https://github.com/ltl3A87/KB-BINDER.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI