LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users

要約

最先端の大規模言語モデル (LLM) は多くのタスクで優れたパフォーマンスを示していますが、幻覚やバイアスなどの望ましくないモデルの動作については広範な研究が行われています。
この研究では、英語力、教育レベル、出身国の 3 つのユーザー特性に応じて、情報の正確性、真実性、拒否の点で LLM 応答の品質がどのように変化するかを調査します。
真実性と事実性をターゲットとした、3 つの最先端の LLM と 2 つの異なるデータセットに関する広範な実験を紹介します。
私たちの調査結果は、最先端の LLM における望ましくない動作は、英語能力が低く、学歴が低く、米国外出身のユーザーに不釣り合いに多く発生し、これらのモデルが最も脆弱なユーザーにとって信頼できない情報源になっていることを示唆しています。

要約(オリジナル)

While state-of-the-art Large Language Models (LLMs) have shown impressive performance on many tasks, there has been extensive research on undesirable model behavior such as hallucinations and bias. In this work, we investigate how the quality of LLM responses changes in terms of information accuracy, truthfulness, and refusals depending on three user traits: English proficiency, education level, and country of origin. We present extensive experimentation on three state-of-the-art LLMs and two different datasets targeting truthfulness and factuality. Our findings suggest that undesirable behaviors in state-of-the-art LLMs occur disproportionately more for users with lower English proficiency, of lower education status, and originating from outside the US, rendering these models unreliable sources of information towards their most vulnerable users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google