Clue-Instruct: Text-Based Clue Generation for Educational Crossword Puzzles

要約

クロスワード パズルは、生徒を学習に参加させるためのツールとしてよく使用される人気の言語ゲームです。
教育用クロスワードは、従来のクロスワード パズルとは異なり、難解でなく事実に基づいた手がかりが特徴です。
従来のクロスワード用の公的に利用可能な手がかりと答えのペアのデータベースがいくつか存在するにもかかわらず、教育用の手がかりと答えのペアのデータセットは存在しません。
この記事では、大規模言語モデル (LLM) の指示に使用できる教育的手がかり生成データセットを構築する方法論を提案します。
関連するキーワードに関連付けられた情報コンテンツを Wikipedia ページから収集することにより、大規模言語モデルを使用して、指定された入力キーワードとそのコンテキストに関連する教育的手がかりを自動的に生成します。
このようなアプローチにより、私たちは、3 つの異なるクロスワード手がかりに関連付けられたテキストとキーワードのペアを含む 44,075 個のユニークな例を含むデータセット、clude-instruct を作成しました。
私たちは、clude-instruct を使用して、さまざまな LLM に、指定された入力コンテンツとキーワードから教育的な手がかりを生成するように指示しました。
人間による評価と自動評価の両方で、生成された手がかりの品質が確認され、アプローチの有効性が検証されました。

要約(オリジナル)

Crossword puzzles are popular linguistic games often used as tools to engage students in learning. Educational crosswords are characterized by less cryptic and more factual clues that distinguish them from traditional crossword puzzles. Despite there exist several publicly available clue-answer pair databases for traditional crosswords, educational clue-answer pairs datasets are missing. In this article, we propose a methodology to build educational clue generation datasets that can be used to instruct Large Language Models (LLMs). By gathering from Wikipedia pages informative content associated with relevant keywords, we use Large Language Models to automatically generate pedagogical clues related to the given input keyword and its context. With such an approach, we created clue-instruct, a dataset containing 44,075 unique examples with text-keyword pairs associated with three distinct crossword clues. We used clue-instruct to instruct different LLMs to generate educational clues from a given input content and keyword. Both human and automatic evaluations confirmed the quality of the generated clues, thus validating the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google