Automated Reading Passage Generation with OpenAI’s Large Language Model

要約

タイトル：OpenAIの大規模言語モデルを用いた自動読解文章生成

要約：
– コンピューターによる評価や学習プラットフォームの普及により、高品質なアイテムを迅速に生成する需要が高まっている。
– 自動アイテム生成（AIG）は、コンピュータ技術を利用してアイテムモデルを使用し、プロセスの各ステップでの人間の専門家への依存を軽減する方法として提案された。
– AIGはテスト開発で長く使用されてきたが、機械学習アルゴリズムの使用により、プロセスの効率と効果を大幅に改善する可能性がある。
– この論文で提示された手法は、OpenAIの最新のトランスフォーマーベースの言語モデルであるGPT-3を使用して読解文章を生成する。
– AI生成テキストが原文と同じコンテンツと構造を持つようにするために、既存の読解文章を慎重にエンジニアリングされたプロンプトで使用した。
– 各プロンプトごとに複数の文章を生成し、最終的にはLexileスコアに一致する文章を選択した。
– 最終ラウンドでは、選択された文章は人間のエディターによる簡単な修正を受け、文法的および事実的な誤りがないことを確認した。
– AI生成の文章および原文は、人間の審査員によって、整合性、4年生に適切性、読みやすさに基づいて評価された。

要約(オリジナル)

The widespread usage of computer-based assessments and individualized learning platforms has resulted in an increased demand for the rapid production of high-quality items. Automated item generation (AIG), the process of using item models to generate new items with the help of computer technology, was proposed to reduce reliance on human subject experts at each step of the process. AIG has been used in test development for some time. Still, the use of machine learning algorithms has introduced the potential to improve the efficiency and effectiveness of the process greatly. The approach presented in this paper utilizes OpenAI’s latest transformer-based language model, GPT-3, to generate reading passages. Existing reading passages were used in carefully engineered prompts to ensure the AI-generated text has similar content and structure to a fourth-grade reading passage. For each prompt, we generated multiple passages, the final passage was selected according to the Lexile score agreement with the original passage. In the final round, the selected passage went through a simple revision by a human editor to ensure the text was free of any grammatical and factual errors. All AI-generated passages, along with original passages were evaluated by human judges according to their coherence, appropriateness to fourth graders, and readability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI