Vernacular? I Barely Know Her: Challenges with Style Control and Stereotyping

要約

大規模言語モデル (LLM) は、教育および学習アプリケーションで使用されることが増えています。
研究により、学習者のニーズに合わせてスタイルをコントロールすると、理解が促進され、包括性が促進され、知識の蒸留が促進されることが実証されています。
スタイル制御における現代の LLM の機能と制限を理解するために、2 つのスタイルにわたって 5 つの最先端のモデル (GPT-3.5、GPT-4、GPT-4o、Llama-3、および Mistral-instruct-7B) を評価しました。
タスクを制御します。
最初のタスクでは重大な矛盾が観察され、1 年生を対象としたタスクのモデルのパフォーマンスの平均は 5 年生から 8 年生の読解レベルであり、標準偏差は最大 27.6 でした。
2 番目のタスクでは、0.02 から 0.26 へ統計的に有意なパフォーマンスの向上が観察されました。
しかし、参考テキストにステレオタイプがなくても、LLM はタスク中に文化的に無神経なコンテンツを生成することが多いことがわかりました。
結果について徹底的な分析と議論を提供します。

要約(オリジナル)

Large Language Models (LLMs) are increasingly being used in educational and learning applications. Research has demonstrated that controlling for style, to fit the needs of the learner, fosters increased understanding, promotes inclusion, and helps with knowledge distillation. To understand the capabilities and limitations of contemporary LLMs in style control, we evaluated five state-of-the-art models: GPT-3.5, GPT-4, GPT-4o, Llama-3, and Mistral-instruct- 7B across two style control tasks. We observed significant inconsistencies in the first task, with model performances averaging between 5th and 8th grade reading levels for tasks intended for first-graders, and standard deviations up to 27.6. For our second task, we observed a statistically significant improvement in performance from 0.02 to 0.26. However, we find that even without stereotypes in reference texts, LLMs often generated culturally insensitive content during their tasks. We provide a thorough analysis and discussion of the results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google