IssueBench: Millions of Realistic Prompts for Measuring Issue Bias in LLM Writing Assistance

要約

大規模な言語モデル（LLM）は、何百万人ものユーザーが多様な問題に関するテキストを書くのを支援しており、そうすることで、ユーザーをさまざまなアイデアや視点にさらすことができます。
これは、LLMが特定の問題について1つの視点しか提示する傾向がある傾向がある問題バイアスに関する懸念を生み出し、ユーザーがこの問題について考える方法に影響を与える可能性があります。
これまでのところ、実際のユーザーインタラクションでLLMが実際に現れるバイアスの問題を測定することは不可能であり、偏ったLLMSからのリスクに対処することを困難にしています。
したがって、Issue -Bench：LLMライティング支援の発行バイアスを測定するための2.49mの現実的なプロンプトのセットを作成します。これは、3.9kテンプレート（例：「ブログを書く」）と212の政治的問題（「AI Regulation」など）に基づいて構築します。
実際のユーザーインタラクションから。
IssueBenchを使用して、問題バイアスは最先端のLLMで一般的で持続的であることを示します。
また、バイアスはモデル間で著しく類似しており、すべてのモデルは、共和党の有権者の意見よりも多くの問題について、米国の民主党員と整合していることも示しています。
Issueベンチは、他の問題、テンプレート、またはタスクを含めるように簡単に適応できます。
堅牢で現実的な測定を可能にすることにより、Issue BenchがLLMバイアスとそれらに対処する方法に関する継続的な議論に新しい品質の証拠をもたらすことができることを願っています。

要約(オリジナル)

Large language models (LLMs) are helping millions of users write texts about diverse issues, and in doing so expose users to different ideas and perspectives. This creates concerns about issue bias, where an LLM tends to present just one perspective on a given issue, which in turn may influence how users think about this issue. So far, it has not been possible to measure which issue biases LLMs actually manifest in real user interactions, making it difficult to address the risks from biased LLMs. Therefore, we create IssueBench: a set of 2.49m realistic prompts for measuring issue bias in LLM writing assistance, which we construct based on 3.9k templates (e.g. ‘write a blog about’) and 212 political issues (e.g. ‘AI regulation’) from real user interactions. Using IssueBench, we show that issue biases are common and persistent in state-of-the-art LLMs. We also show that biases are remarkably similar across models, and that all models align more with US Democrat than Republican voter opinion on a subset of issues. IssueBench can easily be adapted to include other issues, templates, or tasks. By enabling robust and realistic measurement, we hope that IssueBench can bring a new quality of evidence to ongoing discussions about LLM biases and how to address them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google