AI in the Gray: Exploring Moderation Policies in Dialogic Large Language Models vs. Human Answers in Controversial Topics

要約

ChatGPT の導入とその後の大規模言語モデル (LLM) の改善により、情報と意思決定の支援の両方を目的として、チャットボットの使用に目を向ける個人がますます増えています。
ただし、ユーザーが求めている情報は、世界的に受け入れられる明確な回答を提供できるほど客観的にチャットボットによって定式化されていないことがよくあります。
とりわけ「宗教」、「性同一性」、「言論の自由」、「平等」などの物議を醸すテーマは、党派的または偏った回答が先入観を強化したり偽情報を助長したりする可能性があるため、紛争の原因となる可能性があります。
ChatGPT をこのような議論の余地のある質問にさらすことにより、ChatGPT の認識レベルと、既存のモデルが社会政治的および/または経済的バイアスの影響を受けているかどうかを理解することを目的としています。
また、AI が生成した回答が人間の回答とどのように比較されるかを調査することも目的としています。
これを調査するために、私たちはユーザー間で論争の主題に関する人間が生み出した主張を議論する目的で作成された、Kialo と呼ばれるソーシャル メディア プラットフォームのデータセットを使用します。
私たちの結果は、ChatGPT の以前のバージョンには物議を醸すトピックに関する重要な問題がありましたが、ChatGPT のより新しいバージョン (gpt-3.5-turbo) では、いくつかの知識領域で重大な明示的なバイアスが現れなくなっていることを示しています。
特に経済面に関しては節度がしっかりとされています。
しかし、社会政治的観点から節度を高める必要性を示唆する、右翼の理想への暗黙の自由主義的傾向を依然としてある程度維持している。
物議を醸すトピックに関する専門分野の知識に関しては、「哲学」カテゴリを除いて、ChatGPT は人類の集合的な知識レベルに匹敵するパフォーマンスを発揮しています。
最後に、Bing AI のソースは、人間の回答と比較してわずかに中心に向かう傾向があることがわかります。
私たちが行うすべての分析は、他のタイプのバイアスや領域にも一般化できます。

要約(オリジナル)

The introduction of ChatGPT and the subsequent improvement of Large Language Models (LLMs) have prompted more and more individuals to turn to the use of ChatBots, both for information and assistance with decision-making. However, the information the user is after is often not formulated by these ChatBots objectively enough to be provided with a definite, globally accepted answer. Controversial topics, such as ‘religion’, ‘gender identity’, ‘freedom of speech’, and ‘equality’, among others, can be a source of conflict as partisan or biased answers can reinforce preconceived notions or promote disinformation. By exposing ChatGPT to such debatable questions, we aim to understand its level of awareness and if existing models are subject to socio-political and/or economic biases. We also aim to explore how AI-generated answers compare to human ones. For exploring this, we use a dataset of a social media platform created for the purpose of debating human-generated claims on polemic subjects among users, dubbed Kialo. Our results show that while previous versions of ChatGPT have had important issues with controversial topics, more recent versions of ChatGPT (gpt-3.5-turbo) are no longer manifesting significant explicit biases in several knowledge areas. In particular, it is well-moderated regarding economic aspects. However, it still maintains degrees of implicit libertarian leaning toward right-winged ideals which suggest the need for increased moderation from the socio-political point of view. In terms of domain knowledge on controversial topics, with the exception of the ‘Philosophical’ category, ChatGPT is performing well in keeping up with the collective human level of knowledge. Finally, we see that sources of Bing AI have slightly more tendency to the center when compared to human answers. All the analyses we make are generalizable to other types of biases and domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google