ChatGPT v.s. Media Bias: A Comparative Study of GPT-3.5 and Fine-tuned Language Models

要約

急速に進化するデジタル領域では、メディアの偏見が国民感情を形成し、重要な決定に影響を与える可能性があるため、メディアの偏見を識別する能力が非常に重要になります。
ChatGPT などの大規模言語モデル (LLM) の出現は、さまざまな自然言語処理 (NLP) タスクでの幅広い用途で知られており、メディア バイアス検出におけるその有効性の探求を促しています。
ChatGPT はメディアのバイアスを検出できますか?
この研究では、メディア バイアス識別ベンチマーク (MBIB) を利用して、BART、ConvBERT、GPT-2 などの微調整されたモデルと並べてメディア バイアスの 6 つのカテゴリを区別する ChatGPT の能力を評価することで、この質問に答えようとしています。
この調査結果は二分法を示しています。ChatGPT は、ヘイト スピーチやテキスト レベルのコンテキスト バイアスの検出においては、微調整されたモデルと同等の性能を発揮しますが、他のバイアス検出のより微妙な要素、つまりフェイク ニュース、人種、性別、認知バイアスについては困難に直面しています。

要約(オリジナル)

In our rapidly evolving digital sphere, the ability to discern media bias becomes crucial as it can shape public sentiment and influence pivotal decisions. The advent of large language models (LLMs), such as ChatGPT, noted for their broad utility in various natural language processing (NLP) tasks, invites exploration of their efficacy in media bias detection. Can ChatGPT detect media bias? This study seeks to answer this question by leveraging the Media Bias Identification Benchmark (MBIB) to assess ChatGPT’s competency in distinguishing six categories of media bias, juxtaposed against fine-tuned models such as BART, ConvBERT, and GPT-2. The findings present a dichotomy: ChatGPT performs at par with fine-tuned models in detecting hate speech and text-level context bias, yet faces difficulties with subtler elements of other bias detections, namely, fake news, racial, gender, and cognitive biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google