Won’t Get Fooled Again: Answering Questions with False Premises

要約

事前トレーニングされた言語モデル (PLM) は、さまざまな分野、特に質問応答 (QA) システムのバックボーンとして、前例のない可能性を示しています。
ただし、「太陽には目は何個ありますか?」などの難しい質問には簡単にだまされる傾向があります。
PLM のこのような脆弱性は、多くの場合、PLM 内の知識の欠如を暗示しています。
この論文では、PLM がそのような疑問に反論するために必要な知識をすでに持っており、その知識をどのように活用するかが鍵となることがわかりました。
この観察を体系化するために、ある種の難しい質問、つまり誤った前提質問 (FPQ) に対する PLM の応答を調査します。
2365 個の人が書いた FPQ を含む FalseQA データセットに、誤った前提と修正された真の前提の質問に対応する説明を付けてアノテーションを付けます。
FalseQA を使用すると、PLM は適度な数 (例: 256) の例を微調整することで FPQ を識別できることがわかります。
PLM はまた、誤った前提に対して合理的な説明を生成し、それが反論として機能します。
トレーニング中にいくつかの一般的な質問をさらに繰り返すことで、PLM は FPQ と一般的な質問を同時に行うことができます。
私たちの研究は、反論能力が刺激されると、PLM 内の知識が FPQ の処理に効果的に活用され、PLM ベースの QA システムの研究が促進されることを示唆しています。

要約(オリジナル)

Pre-trained language models (PLMs) have shown unprecedented potential in various fields, especially as the backbones for question-answering (QA) systems. However, they tend to be easily deceived by tricky questions such as ‘How many eyes does the sun have?’. Such frailties of PLMs often allude to the lack of knowledge within them. In this paper, we find that the PLMs already possess the knowledge required to rebut such questions, and the key is how to activate the knowledge. To systematize this observation, we investigate the PLMs’ responses to one kind of tricky questions, i.e., the false premises questions (FPQs). We annotate a FalseQA dataset containing 2365 human-written FPQs, with the corresponding explanations for the false premises and the revised true premise questions. Using FalseQA, we discover that PLMs are capable of discriminating FPQs by fine-tuning on moderate numbers (e.g., 256) of examples. PLMs also generate reasonable explanations for the false premise, which serve as rebuttals. Further replaying a few general questions during training allows PLMs to excel on FPQs and general questions simultaneously. Our work suggests that once the rebuttal ability is stimulated, knowledge inside the PLMs can be effectively utilized to handle FPQs, which incentivizes the research on PLM-based QA systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google