Frame In, Frame Out: Do LLMs Generate More Biased News Headlines than Humans?

要約

メディアでのフレーミングは、他の人を軽視しながらいくつかの詳細を選択的に強調することにより、一般の認識を批判的に形作ります。
自動化されたニュースやコンテンツの作成における大規模な言語モデルの台頭により、これらのシステムが人間の著者と比較してフレーミングバイアスを導入または増幅する可能性があるという懸念が高まっています。
この論文では、すぐに調整されたLLMで生成されたニュースコンテンツの両方で、フレーミングがどのようにマニフェストされるかを探ります。
私たちの分析は、特に政治的および社会的に敏感な文脈において、LLMは人間よりも顕著なフレーミングを示す傾向があることを明らかにしています。
さらに、さまざまなモデルアーキテクチャにわたるフレーミング傾向の有意なばらつきが観察され、一部のモデルは特に高いバイアスを表示します。
これらの調査結果は、自動化されたニュースコンテンツがバランスレポートの基準を支持することを保証するために、効果的なトレーニング後の緩和戦略とより厳しい評価フレームワークの必要性を指摘しています。

要約(オリジナル)

Framing in media critically shapes public perception by selectively emphasizing some details while downplaying others. With the rise of large language models in automated news and content creation, there is growing concern that these systems may introduce or even amplify framing biases compared to human authors. In this paper, we explore how framing manifests in both out-of-the-box and fine-tuned LLM-generated news content. Our analysis reveals that, particularly in politically and socially sensitive contexts, LLMs tend to exhibit more pronounced framing than their human counterparts. In addition, we observe significant variation in framing tendencies across different model architectures, with some models displaying notably higher biases. These findings point to the need for effective post-training mitigation strategies and tighter evaluation frameworks to ensure that automated news content upholds the standards of balanced reporting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google