Learning Answer Generation using Supervision from Automatic Question Answering Evaluators

要約

最近の研究では、文レベルの抽出 QA、つまり回答文選択 (AS2) に基づく QA は、AS2 モデルによってランク付けされた上位 k 件の回答文を使用して回答を生成する世代ベースの QA (GenQA) モデルよりも優れていることが示されています。
検索拡張生成スタイル)。
この論文では、自動 QA 評価モデル (GAVA) による監視を使用した GenQA の新しいトレーニング パラダイムを提案します。
具体的には、これらの QA 評価モデルから GenQA モデルに知識を移すための 3 つの戦略を提案します。(i) GenQA モデルによって生成され、GAVA によってラベル付けされた回答でトレーニング データを強化します (トレーニング前に静的に、または (ii) トレーニング時に動的に)。
すべてのトレーニング エポック);
(iii) GenQA モデルの学習中に発電機損失の重み付けに GAVA スコアを使用します。
私たちは、2 つの学術データセットと 1 つの産業データセットに基づいて提案された方法を評価し、以前の最先端技術に比べて回答精度が大幅に向上しました。

要約(オリジナル)

Recent studies show that sentence-level extractive QA, i.e., based on Answer Sentence Selection (AS2), is outperformed by Generation-based QA (GenQA) models, which generate answers using the top-k answer sentences ranked by AS2 models (a la retrieval-augmented generation style). In this paper, we propose a novel training paradigm for GenQA using supervision from automatic QA evaluation models (GAVA). Specifically, we propose three strategies to transfer knowledge from these QA evaluation models to a GenQA model: (i) augmenting training data with answers generated by the GenQA model and labelled by GAVA (either statically, before training, or (ii) dynamically, at every training epoch); and (iii) using the GAVA score for weighting the generator loss during the learning of the GenQA model. We evaluate our proposed methods on two academic and one industrial dataset, obtaining a significant improvement in answering accuracy over the previous state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google