DGRC: An Effective Fine-tuning Framework for Distractor Generation in Chinese Multi-choice Reading Comprehension

要約

学習者の知識の習熟度を評価する場合、多肢選択問題は標準化されたテストで効率的で広く使用されている形式です。
それにもかかわらず、これらの質問、特にもっともらしい注意をそらすもの (間違った選択肢) を生成することは、かなりの課題を引き起こします。
一般に、ディストラクタ生成は、クローズスタイルディストラクタ生成（CDG）とナチュラルクエスチョンディストラクタ生成（NQDG）に分類できます。
CDG とは対照的に、NQDG の事前トレーニング済み言語モデル (PLM) の利用には、次の 3 つの主要な課題があります: (1) PLM は通常、回答などの「正しい」コンテンツを生成するようにトレーニングされますが、「もっともらしい」コンテンツを生成するようにトレーニングされることはほとんどありません。
気を散らすものなどのコンテンツ。
(2) PLM は、特定の知識や試験のスタイルに合わせたコンテンツを作成するのに苦労することがよくあります。
(3) NQDG では、モデルがより長く、状況に応じた、質問に関連した注意をそらす要素を生成する必要があります。
この研究では、実際の試験からの中国語の多肢選択式読解におけるNQDG用のDGRCという微調整フレームワークを導入します。
DGRC は、ハード思考連鎖、マルチタスク学習、生成マスク パターンの 3 つの主要コンポーネントで構成されます。
実験結果は、DGRC が生成パフォーマンスを大幅に向上させ、BLEU スコアで 2.5 倍以上の改善を達成したことを示しています。

要約(オリジナル)

When evaluating a learner’s knowledge proficiency, the multiple-choice question is an efficient and widely used format in standardized tests. Nevertheless, generating these questions, particularly plausible distractors (incorrect options), poses a considerable challenge. Generally, the distractor generation can be classified into cloze-style distractor generation (CDG) and natural questions distractor generation (NQDG). In contrast to the CDG, utilizing pre-trained language models (PLMs) for NQDG presents three primary challenges: (1) PLMs are typically trained to generate “correct” content, like answers, while rarely trained to generate “plausible’ content, like distractors; (2) PLMs often struggle to produce content that aligns well with specific knowledge and the style of exams; (3) NQDG necessitates the model to produce longer, context-sensitive, and question-relevant distractors. In this study, we introduce a fine-tuning framework named DGRC for NQDG in Chinese multi-choice reading comprehension from authentic examinations. DGRC comprises three major components: hard chain-of-thought, multi-task learning, and generation mask patterns. The experiment results demonstrate that DGRC significantly enhances generation performance, achieving a more than 2.5-fold improvement in BLEU scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google