Robust Few-shot Transfer Learning for Knowledge Base Question Answering with Unanswerable Questions

要約

実際の KBQA アプリケーションには、(1) 堅牢なモデル (回答可能な質問と回答できない質問を区別できるなど)、(2) リソースが少ないモデルが必要であり、大規模なトレーニング データを必要としません。
この目標に向けて、答えのない質問を含む KBQA に数ショット転送という新しいタスクを提案します。
応答可能のみの KBQA の最先端 (SoTA) 少数ショット転送モデルを拡張して応答不能を処理する FUn-FuSIC を紹介します。
構文、意味、実行ガイド付きチェックの多様なスイートを使用してフィードバックを提供することで、LLM に質問の論理形式を生成するよう繰り返し促し、自己一貫性を適応させて LLM の信頼性を評価して回答可能性を決定します。
新たに構築されたデータセットに対する実験では、FUn-FuSIC が、応答不能な KBQA に対する SoTA モデル、および応答可能のみの数ショット転送 KBQA に対する SoTA モデルの適切な適応よりも優れていることが示されています。

要約(オリジナル)

Real-world KBQA applications require models that are (1) robust — e.g., can differentiate between answerable and unanswerable questions, and (2) low-resource — do not require large training data. Towards this goal, we propose the novel task of few-shot transfer for KBQA with unanswerable questions. We present FUn-FuSIC that extends the state-of-the-art (SoTA) few-shot transfer model for answerable-only KBQA to handle unanswerability. It iteratively prompts an LLM to generate logical forms for the question by providing feedback using a diverse suite of syntactic, semantic and execution guided checks, and adapts self-consistency to assess confidence of the LLM to decide answerability. Experiments over newly constructed datasets show that FUn-FuSIC outperforms suitable adaptations of the SoTA model for KBQA with unanswerability, and the SoTA model for answerable-only few-shot-transfer KBQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google