Bias of AI-Generated Content: An Examination of News Produced by Large Language Models

要約

大規模言語モデル (LLM) は、AI 生成コンテンツ (AIGC) として知られる、生成されるコンテンツを通じて私たちの生活や仕事を変える可能性を秘めています。
この変革を利用するには、LLM の制限を理解する必要があります。
ここでは、ChatGPT や LLaMA を含む 7 つの代表的な LLM によって生成される AIGC のバイアスを調査します。
私たちは、比較的偏りのないニュースを配信することで知られるニューヨーク タイムズとロイターからニュース記事を収集しています。
次に、調査した各 LLM を適用して、これらのニュース記事の見出しをプロンプトとして含むニュース コンテンツを生成し、AIGC と元のニュース記事を比較することによって、LLM によって生成された AIGC の性別と人種の偏見を評価します。
これらのニュース見出しから構築されたプロンプトに性別に偏ったメッセージを追加することで、偏ったプロンプトの下で各 LLM の性別の偏りをさらに分析します。
私たちの研究は、調査された各 LLM によって生成された AIGC が、重大な性別と人種の偏見を示していることを明らかにしました。
さらに、各 LLM によって生成された AIGC は、女性および黒人人種に対する顕著な差別を示しています。
LLM の中で、ChatGPT によって生成された AIGC は最も低いレベルのバイアスを示し、ChatGPT はバイアスのあるプロンプトが提供された場合にコンテンツ生成を減少させることができる唯一のモデルです。

要約(オリジナル)

Large language models (LLMs) have the potential to transform our lives and work through the content they generate, known as AI-Generated Content (AIGC). To harness this transformation, we need to understand the limitations of LLMs. Here, we investigate the bias of AIGC produced by seven representative LLMs, including ChatGPT and LLaMA. We collect news articles from The New York Times and Reuters, both known for delivering relatively unbiased news. We then apply each examined LLM to generate news content with headlines of these news articles as prompts, and evaluate the gender and racial biases of the AIGC produced by the LLM by comparing the AIGC and the original news articles. We further analyze the gender bias of each LLM under biased prompts by adding gender-biased messages to prompts constructed from these news headlines. Our study reveals that the AIGC produced by each examined LLM demonstrates substantial gender and racial biases. Moreover, the AIGC generated by each LLM exhibits notable discrimination against females and individuals of the Black race. Among the LLMs, the AIGC generated by ChatGPT demonstrates the lowest level of bias, and ChatGPT is the sole model capable of declining content generation when provided with biased prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google