Language Models reach higher Agreement than Humans in Historical Interpretation

要約

本稿では、人間による歴史注釈と大規模言語モデルによる歴史注釈を比較する。その結果、両者とも若干の文化的バイアスを示すが、短いテキストからの歴史的事実の解釈については、大規模言語モデルの方が高いコンセンサスを達成することが明らかになった。人間が個人的なバイアスに基づき意見を異にする傾向があるのに対し、大規模言語モデルは情報を読み飛ばしたり幻覚を生じさせたりした場合に意見を異にする。これらの発見は、歴史データの大規模なアノテーションと定量分析を可能にするデジタル人文学にとって重要な意味を持つ。これは、異なる言語モデルから歴史的解釈を探求し、バイアスに関する批判的思考を育む新たな教育・研究の機会を提供する。

要約(オリジナル)

This paper compares historical annotations by humans and Large Language Models. The findings reveal that both exhibit some cultural bias, but Large Language Models achieve a higher consensus on the interpretation of historical facts from short texts. While humans tend to disagree on the basis of their personal biases, Large Models disagree when they skip information or produce hallucinations. These findings have significant implications for digital humanities, enabling large-scale annotation and quantitative analysis of historical data. This offers new educational and research opportunities to explore historical interpretations from different Language Models, fostering critical thinking about bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL