Code-Style In-Context Learning for Knowledge-Based Question Answering

要約

知識ベースの質問応答 (KBQA) の現在の方法は、通常、複雑なトレーニング手法とモデル フレームワークに依存しているため、実際のアプリケーションでは多くの制限が生じます。
最近、大規模言語モデル (LLM) におけるインコンテキスト学習 (ICL) 機能の出現により、KBQA にシンプルでトレーニング不要の意味解析パラダイムが提供されます。デモ例として少数の質問とそのラベル付き論理形式が与えられると、LLM は次のことができます。
タスクの意図を理解し、新しい質問のロジック フォームを生成します。
ただし、現在の強力な LLM は、事前トレーニング中にロジック形式にほとんどさらされないため、フォーマット エラー率が高くなります。
この問題を解決するために、我々は KBQA のためのコードスタイルのインコンテキスト学習方法を提案します。これは、なじみのない論理形式の生成プロセスを、LLM にとってより馴染みのあるコード生成プロセスに変換します。
3 つの主流データセットでの実験結果は、私たちの方法が、少数ショット設定で WebQSP、GrailQA、および GraphQ 上で新しい SOTA を実現しながら、ロジック フォームを生成する際のフォーマット エラーの問題を大幅に軽減することを示しています。
コードと補足ファイルは https://github.com/Arthurizijar/KB-Coder でリリースされています。

要約(オリジナル)

Current methods for Knowledge-Based Question Answering (KBQA) usually rely on complex training techniques and model frameworks, leading to many limitations in practical applications. Recently, the emergence of In-Context Learning (ICL) capabilities in Large Language Models (LLMs) provides a simple and training-free semantic parsing paradigm for KBQA: Given a small number of questions and their labeled logical forms as demo examples, LLMs can understand the task intent and generate the logic form for a new question. However, current powerful LLMs have little exposure to logic forms during pre-training, resulting in a high format error rate. To solve this problem, we propose a code-style in-context learning method for KBQA, which converts the generation process of unfamiliar logical form into the more familiar code generation process for LLMs. Experimental results on three mainstream datasets show that our method dramatically mitigated the formatting error problem in generating logic forms while realizing a new SOTA on WebQSP, GrailQA, and GraphQ under the few-shot setting. The code and supplementary files are released at https://github.com/Arthurizijar/KB-Coder .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google