FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering

要約

ナレッジ ベースの質問応答 (KBQA) は、ナレッジ ベース内のエンティティの数が膨大であり、ユーザーによって提起される自然言語の質問が多様であるため、重要かつ困難なタスクです。
残念ながら、高品質の注釈付きデータが不十分な現実のシナリオでは、ほとんどの KBQA モデルのパフォーマンスが大幅に低下する傾向があります。
手動アノテーションに関連する負担を軽減するために、数ショットの KBQA タスクに固有の課題に対処するためのプログラム トランスレータとしてラージ言語モデル (LLM) を利用することで、FlexKBQA を導入しました。
具体的には、FlexKBQA は自動アルゴリズムを活用してナレッジ ベースから SPARQL クエリなどの多様なプログラムをサンプリングし、その後 LLM を介して自然言語の質問に変換します。
この合成データセットにより、KB に特化した軽量モデルのトレーニングが容易になります。
さらに、合成データと実際のユーザーの質問の間の分布シフトの障壁を減らすために、FlexKBQA では、ラベルのないユーザーの質問を反復的に活用するための実行ガイド付き自己トレーニング方法を導入しています。
さらに、LLM に固有の推論機能を活用してフレームワーク全体を強化することを検討します。
その結果、FlexKBQA は、データの注釈付け、展開を網羅し、ドメインに依存しない大幅な柔軟性を実現します。
GrailQA、WebQSP、および KQA Pro での広範な実験を通じて、少数のショット、さらにはより困難なゼロショットのシナリオでも、FlexKBQA がいくつかのアノテーションで印象的な結果を達成し、以前のすべてのベースラインを上回り、教師ありモデルのパフォーマンスにさえ近づくことが観察されました。
、完全に監視されたモデルと比較して 93% という驚くべきパフォーマンスを達成します。
FlexKBQA は、大規模で軽量なモデルのより良い統合の探求に向けた大きな進歩であると私たちは考えています。
コードはオープンソースです。

要約(オリジナル)

Knowledge base question answering (KBQA) is a critical yet challenging task due to the vast number of entities within knowledge bases and the diversity of natural language questions posed by users. Unfortunately, the performance of most KBQA models tends to decline significantly in real-world scenarios where high-quality annotated data is insufficient. To mitigate the burden associated with manual annotation, we introduce FlexKBQA by utilizing Large Language Models (LLMs) as program translators for addressing the challenges inherent in the few-shot KBQA task. Specifically, FlexKBQA leverages automated algorithms to sample diverse programs, such as SPARQL queries, from the knowledge base, which are subsequently converted into natural language questions via LLMs. This synthetic dataset facilitates training a specialized lightweight model for the KB. Additionally, to reduce the barriers of distribution shift between synthetic data and real user questions, FlexKBQA introduces an executionguided self-training method to iterative leverage unlabeled user questions. Furthermore, we explore harnessing the inherent reasoning capability of LLMs to enhance the entire framework. Consequently, FlexKBQA delivers substantial flexibility, encompassing data annotation, deployment, and being domain agnostic. Through extensive experiments on GrailQA, WebQSP, and KQA Pro, we observe that under the few-shot even the more challenging zero-shot scenarios, FlexKBQA achieves impressive results with a few annotations, surpassing all previous baselines and even approaching the performance of supervised models, achieving a remarkable 93% performance relative to the fully-supervised models. We posit that FlexKBQA represents a significant advancement towards exploring better integration of large and lightweight models. The code is open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google