Machine Reading Comprehension using Case-based Reasoning

要約

古典的な AI の事例ベースの推論 (CBR) を彷彿とさせる、機械読解における回答抽出のための正確で解釈可能な方法を紹介します。
私たちの方法 (CBR-MRC) は、同様の質問に対する文脈化された回答が意味的に類似しているという仮説に基づいています。
テストの問題が与えられると、CBR-MRC はまずノンパラメトリック メモリから類似のケースのセットを取得し、次に、取得したケース内の回答の文脈化された表現に最も類似したテスト コンテキスト内のスパンを選択することによって、回答を予測します。
私たちのアプローチのセミパラメトリックな性質により、予測を特定の一連の証拠ケースに帰属させることができるため、信頼性が高くデバッグ可能な QA システムを構築するための望ましい選択肢となります。
CBR-MRC が大規模リーダー モデルに匹敵する高い精度を提供し、NaturalQuestions と NewsQA でそれぞれベースラインを 11.5 EM および 8.4 EM 上回っていることを示します。
さらに、CBR-MRC が正解トークンだけでなく、最も関連性の高い裏付け証拠を含むスパンを特定する能力も示します。
最後に、特定の質問タイプのコンテキストが他の質問タイプよりも高い語彙多様性を示すことを観察し、CBR-MRC がこれらのバリエーションに対して堅牢である一方で、フルパラメトリック手法を使用するとパフォーマンスが低下することがわかりました。

要約(オリジナル)

We present an accurate and interpretable method for answer extraction in machine reading comprehension that is reminiscent of case-based reasoning (CBR) from classical AI. Our method (CBR-MRC) builds upon the hypothesis that contextualized answers to similar questions share semantic similarities with each other. Given a test question, CBR-MRC first retrieves a set of similar cases from a non-parametric memory and then predicts an answer by selecting the span in the test context that is most similar to the contextualized representations of answers in the retrieved cases. The semi-parametric nature of our approach allows it to attribute a prediction to the specific set of evidence cases, making it a desirable choice for building reliable and debuggable QA systems. We show that CBR-MRC provides high accuracy comparable with large reader models and outperforms baselines by 11.5 and 8.4 EM on NaturalQuestions and NewsQA, respectively. Further, we demonstrate the ability of CBR-MRC in identifying not just the correct answer tokens but also the span with the most relevant supporting evidence. Lastly, we observe that contexts for certain question types show higher lexical diversity than others and find that CBR-MRC is robust to these variations while performance using fully-parametric methods drops.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google