Teach model to answer questions after comprehending the document

要約

多肢選択機械読解 (MRC) は、自然言語処理 (NLP) の挑戦的な拡張機能であり、特定のテキスト内のエンティティ間の意味論と論理的関係を理解する能力を必要とします。
MRC タスクは伝統的に、与えられたテキストに基づいて質問に答えるプロセスとみなされてきました。
この 1 段階のアプローチにより、ネットワークは正解を生成することに集中することが多く、テキスト自体の理解が無視される可能性がありました。
その結果、多くの普及しているモデルは、長いテキストを扱う際にこのタスクを適切に実行するのが難しいという課題に直面しています。
この論文では、MRC タスクを 2 つの個別の段階に分割することで、ドキュメントをよりよく理解できるようにモデルを学習させる 2 段階の知識蒸留方法を提案します。
私たちの実験結果は、私たちの方法を備えた学生モデルが大幅な改善を達成し、私たちの方法の有効性を実証していることを示しています。

要約(オリジナル)

Multi-choice Machine Reading Comprehension (MRC) is a challenging extension of Natural Language Processing (NLP) that requires the ability to comprehend the semantics and logical relationships between entities in a given text. The MRC task has traditionally been viewed as a process of answering questions based on the given text. This single-stage approach has often led the network to concentrate on generating the correct answer, potentially neglecting the comprehension of the text itself. As a result, many prevalent models have faced challenges in performing well on this task when dealing with longer texts. In this paper, we propose a two-stage knowledge distillation method that teaches the model to better comprehend the document by dividing the MRC task into two separate stages. Our experimental results show that the student model, when equipped with our method, achieves significant improvements, demonstrating the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google