Iterative Repair with Weak Verifiers for Few-shot Transfer in KBQA with Unanswerability

要約

KBQAの実際のアプリケーションでは、ドメイン内のラベルのあるトレーニングデータが限られているため、未回答の質問を処理するモデルが必要です。
KBQAの少数のショット転送の新しいタスクを、未回答の質問で提案し、パフォーマンス評価のために2つの新しいデータセットを提供します。
Fun-Fusic-AntableのみのKBQAの最先端の少数の転送モデルであるFusic KBQAを拡張するタスクの新しいソリューションです。
まず、Fusic-KBQAの反復修復は、すべての質問が答えられないという強い仮定を持っていることに注意してください。
救済策として、強力で弱い検証剤のスイートからのフィードバックを使用して反復的な修理を使用し、未回答の回答性のための自己一貫性の適応を使用して、質問の回答性をよりよく評価するためのフィードバック（Fun）のフィードバックを提案します。
私たちの実験は、ファンフュージックがタスクに対する複数のLLMベースのSOTAモデルの適切な適応を大幅に上回ることを示しています。

要約(オリジナル)

Real-world applications of KBQA require models to handle unanswerable questions with a limited volume of in-domain labeled training data. We propose the novel task of few-shot transfer for KBQA with unanswerable questions and contribute two new datasets for performance evaluation. We present FUn-FuSIC – a novel solution for our task that extends FuSIC KBQA, the state-of-the-art few-shot transfer model for answerable-only KBQA. We first note that FuSIC-KBQA’s iterative repair makes a strong assumption that all questions are unanswerable. As a remedy, we propose Feedback for Unanswerability (FUn), which uses iterative repair using feedback from a suite of strong and weak verifiers, and an adaptation of self consistency for unanswerabilty to better assess the answerability of a question. Our experiments show that FUn-FuSIC significantly outperforms suitable adaptations of multiple LLM based and supervised SoTA models on our task, while establishing a new SoTA for answerable few-shot transfer as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google