Few-shot Transfer Learning for Knowledge Base Question Answering: Fusing Supervised Models with In-Context Learning

要約

既存のナレッジベース質問応答 (KBQA) アーキテクチャは注釈付きデータを必要とするため、導入にコストと時間がかかります。
KBQA の少数ショット転移学習の問題を導入します。この場合、ターゲット ドメインでは少数のラベル付きサンプルしか提供されませんが、ソース ドメインでは大規模なラベル付きトレーニング データセットが利用可能です。
私たちは、FuSIC-KBQA と呼ばれる新しい KBQA アーキテクチャを提案します。これは、複数のソースでトレーニングされた取得器を使用して KB 検索を実行し、LLM を使用して再ランク付けし、これを LLM の少数ショット インコンテキスト学習の入力として使用して、論理形式を生成します。
実行ガイド付きフィードバックを使用して洗練されます。
さまざまな複雑さの 4 つのソースとターゲットの KBQA ペアに関する実験では、FuSIC-KBQA が、この設定に対する SoTA KBQA モデルの適応よりも大幅に優れていることが示されています。
ドメイン内設定での追加の実験では、トレーニング データが限られている場合でも、FuSIC-KBQA が SoTA KBQA モデルよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Existing Knowledge Base Question Answering (KBQA) architectures are hungry for annotated data, which make them costly and time-consuming to deploy. We introduce the problem of few-shot transfer learning for KBQA, where the target domain offers only a few labeled examples, but a large labeled training dataset is available in a source domain. We propose a novel KBQA architecture called FuSIC-KBQA that performs KB-retrieval using multiple source-trained retrievers, re-ranks using an LLM and uses this as input for LLM few-shot in-context learning to generate logical forms, which are further refined using execution-guided feedback. Experiments over four source-target KBQA pairs of varying complexity show that FuSIC-KBQA significantly outperforms adaptations of SoTA KBQA models for this setting. Additional experiments in the in-domain setting show that FuSIC-KBQA also outperforms SoTA KBQA models when training data is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google