Generating Educational Materials with Different Levels of Readability using LLMs

要約

この研究では、意味を維持しながら教育資料を特定の読みやすさレベルに書き直すことを目的として、レベル付きテキスト生成タスクを導入しました。
ゼロショットおよびフューショット プロンプトを通じてさまざまな可読性レベルでコンテンツを生成する GPT-3.5、LLaMA-2 70B、および Mixtral 8x7B の機能を評価します。
100 個の処理済み教育資料を評価すると、数ショット プロンプトによって可読性の操作と情報の保存のパフォーマンスが大幅に向上することが明らかになりました。
GPT-3.5 は本来の意味を維持しながら、LLaMA-2 70B は望ましい難易度範囲を達成する上でより優れたパフォーマンスを発揮します。
ただし、手動検査では、誤った情報の導入や一貫性のない編集の配布などの懸念が浮き彫りになります。
これらの調査結果は、生成された教育コンテンツの品質を保証するためにさらなる研究が必要であることを強調しています。

要約(オリジナル)

This study introduces the leveled-text generation task, aiming to rewrite educational materials to specific readability levels while preserving meaning. We assess the capability of GPT-3.5, LLaMA-2 70B, and Mixtral 8x7B, to generate content at various readability levels through zero-shot and few-shot prompting. Evaluating 100 processed educational materials reveals that few-shot prompting significantly improves performance in readability manipulation and information preservation. LLaMA-2 70B performs better in achieving the desired difficulty range, while GPT-3.5 maintains original meaning. However, manual inspection highlights concerns such as misinformation introduction and inconsistent edit distribution. These findings emphasize the need for further research to ensure the quality of generated educational content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google