Adapting Pre-trained Generative Models for Extractive Question Answering

要約

BART、T5 などの事前トレーニング済み生成モデルは、抽象的な長文質問応答 (QA) や要約など、さまざまな自然言語処理タスクにおけるテキスト生成の推奨方法として注目を集めています。
ただし、識別モデルが一般的に使用される抽出的 QA タスクにおける生成モデルの可能性は、ほとんど解明されていないままです。
識別モデルは、特にコンテキストのごく一部にしか答えが含まれていない場合に、ラベルの希薄性に関連する課題に直面することがよくあります。
この課題は、複数の範囲にわたる回答の場合により顕著になります。
この研究では、事前トレーニングされた生成モデルの力を利用して、回答の一部を形成するコンテキスト トークンまたは文に対応するインデックスを生成することで抽出的な QA タスクに対処する新しいアプローチを紹介します。
MultiSpanQA、BioASQ、MASHQA、WikiQA を含む複数の抽出 QA データセットの包括的な評価を通じて、既存の最先端モデルと比較して、提案されたアプローチの優れたパフォーマンスを実証します。

要約(オリジナル)

Pre-trained Generative models such as BART, T5, etc. have gained prominence as a preferred method for text generation in various natural language processing tasks, including abstractive long-form question answering (QA) and summarization. However, the potential of generative models in extractive QA tasks, where discriminative models are commonly employed, remains largely unexplored. Discriminative models often encounter challenges associated with label sparsity, particularly when only a small portion of the context contains the answer. The challenge is more pronounced for multi-span answers. In this work, we introduce a novel approach that uses the power of pre-trained generative models to address extractive QA tasks by generating indexes corresponding to context tokens or sentences that form part of the answer. Through comprehensive evaluations on multiple extractive QA datasets, including MultiSpanQA, BioASQ, MASHQA, and WikiQA, we demonstrate the superior performance of our proposed approach compared to existing state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google