Few-shot In-context Learning for Knowledge Base Question Answering

要約

【タイトル】
Few-shot In-context Learning for Knowledge Base Question Answering

【要約】
– 知識ベース（knowledge bases）に対する問題解決は、さまざまな自然言語の質問に対応することが困難であるため、課題とされている。
– さらに、異なる知識ベースのスキーマ項目の多様性のため、異なる知識ベースに対する専門的なトレーニングが必要となる場合もある。
– そこで、KBQAタスクに対する統一されたトレーニングフリーのフレームワークの開発を目指し、KB-BINDERを提案する。
– KB-BINDERは、KBQAタスクにおいては初めて、少数のインコンテキストデモンストレーションを元に、few-shot in-context learningを実現する。
– 具体的には、KB-BINDERはCodexなどの大規模言語モデルを利用して、特定の質問に対する論理形式を示すドラフトを生成する。そして、知識ベースに基づいて、BM25スコアマッチングを用いて生成されたドラフトを実行可能なものと結びつける。
– 公開された4つの異なるKBQAデータセットでの実験結果により、KB-BINDERは少数のインコンテキストデモンストレーションで強力なパフォーマンスを実現することができることが示された。特に、GraphQAと3-hop MetaQAにおいては、KB-BINDERは従来のトレーニング済みモデルを上回るパフォーマンスを発揮することができた。GrailQAとWebQSPにおいても、完全にトレーニングされた他のモデルと同等のパフォーマンスを発揮した。
– 今後の研究の重要なベースラインとなることが期待され、コードおよびデータの公開も予定されている。

要約(オリジナル)

Question answering over knowledge bases is considered a difficult problem due to the challenge of generalizing to a wide variety of possible natural language questions. Additionally, the heterogeneity of knowledge base schema items between different knowledge bases often necessitates specialized training for different knowledge base question-answering (KBQA) datasets. To handle questions over diverse KBQA datasets with a unified training-free framework, we propose KB-BINDER, which for the first time enables few-shot in-context learning over KBQA tasks. Firstly, KB-BINDER leverages large language models like Codex to generate logical forms as the draft for a specific question by imitating a few demonstrations. Secondly, KB-BINDER grounds on the knowledge base to bind the generated draft to an executable one with BM25 score matching. The experimental results on four public heterogeneous KBQA datasets show that KB-BINDER can achieve a strong performance with only a few in-context demonstrations. Especially on GraphQA and 3-hop MetaQA, KB-BINDER can even outperform the state-of-the-art trained models. On GrailQA and WebQSP, our model is also on par with other fully-trained models. We believe KB-BINDER can serve as an important baseline for future research. We plan to release all the code and data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI