Know Your Audience: Do LLMs Adapt to Different Age and Education Levels?

要約

大規模言語モデル（LLM）は、異なる読者やその読解ニーズにテキストを適応させるなど、さまざまな新しい可能性を提供する。しかし、どの程度適応できるのだろうか？我々は、異なる年齢層と教育レベルをターゲットとしたプロンプトが表示された場合、科学の質問に対して4つの最先端のLLM（商用およびオープンソース）によって生成された回答の可読性を評価する。LLMの多様な聴衆への適応性を評価するために、生成された回答の読みやすさのスコアを、各年齢層と教育レベルの推奨理解度と比較した。その結果、LLMによって回答の読みやすさに大きなばらつきがあることがわかった。この結果は、LLMの回答をより理解しやすいものにするためには、想定される聴衆の属性によりよく適合させる必要があることを示唆している。この結果は、多様な年齢や教育レベルに対応するために、教育現場におけるLLMの適応性を高めることの重要性を強調している。全体的に、現在のLLMは読みやすさの範囲が設定されており、促されても異なる聴衆にうまく適応しない。そのため、教育目的での利用には限界がある。

要約(オリジナル)

Large language models (LLMs) offer a range of new possibilities, including adapting the text to different audiences and their reading needs. But how well do they adapt? We evaluate the readability of answers generated by four state-of-the-art LLMs (commercial and open-source) to science questions when prompted to target different age groups and education levels. To assess the adaptability of LLMs to diverse audiences, we compare the readability scores of the generated responses against the recommended comprehension level of each age and education group. We find large variations in the readability of the answers by different LLMs. Our results suggest LLM answers need to be better adapted to the intended audience demographics to be more comprehensible. They underline the importance of enhancing the adaptability of LLMs in education settings to cater to diverse age and education levels. Overall, current LLMs have set readability ranges and do not adapt well to different audiences, even when prompted. That limits their potential for educational purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL