Combining Transfer Learning with In-context Learning using Blackbox LLMs for Zero-shot Knowledge Base Question Answering

要約

ここでは、ナレッジ ベースの質問応答 (KBQA) 問題のゼロショット転移学習設定に取り組みます。この場合、ソース ドメインでは大量のラベル付きトレーニング データが利用可能ですが、ターゲット ドメインではそのようなラベル付きサンプルが利用できません。
KBQA の転移学習では、ソース内のラベル付きデータに加えて、ターゲット内の大量のラベルなしデータも利用します。
最近では、ブラックボックス大規模言語モデル (BLLM) を使用した少数ショットのインコンテキスト学習が、ソース ドメイン データを考慮せずに KBQA に適応されています。
この作業では、KBQA のこれら 2 つのパラダイムを有意義に組み合わせて、それぞれの利点を加算する方法を示します。
具体的には、教師あり KBQA の 2 段階の取得、生成パイプラインを維持し、BLLM を使用したインコンテキスト学習と、両方の段階のソースからの転移学習の間の相互作用を導入します。
さらに、転送設定から切り離された、BLLM を使用した実行ガイド付き自己洗練を提案します。
ベンチマーク データセットである GrailQA をソースとして、WebQSP をターゲットとして使用した実験の助けを借りて、提案された組み合わせが両方のステージに大幅な改善をもたらし、さらに、
ソース。
また、ドメイン内設定では、ラベル付きデータの量が制限されている場合、提案された BLLM 拡張が最先端の教師付きモデルを大幅に上回るパフォーマンスを示し、また、大規模なトレーニング データセット全体を使用する場合でも、これらをわずかに上回るパフォーマンスを示します。

要約(オリジナル)

We address the zero-shot transfer learning setting for the knowledge base question answering (KBQA) problem, where a large volume of labeled training data is available for the source domain, but no such labeled examples are available for the target domain. Transfer learning for KBQA makes use of large volumes of unlabeled data in the target in addition to the labeled data in the source. More recently, few-shot in-context learning using Black-box Large Language Models (BLLMs) has been adapted for KBQA without considering any source domain data. In this work, we show how to meaningfully combine these two paradigms for KBQA so that their benefits add up. Specifically, we preserve the two stage retrieve-then-generate pipeline of supervised KBQA and introduce interaction between in-context learning using BLLMs and transfer learning from the source for both stages. In addition, we propose execution-guided self-refinement using BLLMs, decoupled from the transfer setting. With the help of experiments using benchmark datasets GrailQA as the source and WebQSP as the target, we show that the proposed combination brings significant improvements to both stages and also outperforms by a large margin state-of-the-art supervised KBQA models trained on the source. We also show that in the in-domain setting, the proposed BLLM augmentation significantly outperforms state-of-the-art supervised models, when the volume of labeled data is limited, and also outperforms these marginally even when using the entire large training dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google