Experimental Narratives: A Comparison of Human Crowdsourced Storytelling and AI Storytelling

要約

この論文は、人間と生成型 AI の両方によるストーリーテリングにおける文化的成果と社会的偏見を調査するための新しいツールとして、架空のプロンプトを使用した行動実験と計算実験を組み合わせたフレームワークを提案しています。
この研究は、2019年6月にクラウドワーカーによって執筆された250のストーリーと、2023年3月にGPT-3.5とGPT-4によって生成された80のストーリーを、ナラトロジーと推論統計の手法を組み合わせて分析しました。
クラウドワーカーと大規模言語モデルの両方が、人造人間を作成し、それと恋に落ちるという同じプロンプトに反応しました。
提案された実験パラダイムにより、人間のストーリーテリングと LLM が生成したストーリーテリングの直接比較が可能になります。
ピグマリオン風のプロンプトに対する反応は、人間と大規模な言語モデルの両方の集合的な想像の中にピグマリオン神話が広く存在していることを裏付けています。
募集されたすべての物語は、科学または技術の追求を表しています。
この分析により、GPT-3.5、特に GPT-4 の物語は、人間によって書かれた物語よりも、性役割とセクシュアリティの点でより進歩的であることが明らかになりました。
AI の物語は革新的なプロットのひねりを提供することがありますが、人間が作成したテキストに比べて想像力豊かなシナリオやレトリックが提供されません。
提案された枠組みでは、フィクションは人間とAIをベースにした集団的な想像力と社会的側面への窓として使用できると主張しています。

要約(オリジナル)

The paper proposes a framework that combines behavioral and computational experiments employing fictional prompts as a novel tool for investigating cultural artifacts and social biases in storytelling both by humans and generative AI. The study analyzes 250 stories authored by crowdworkers in June 2019 and 80 stories generated by GPT-3.5 and GPT-4 in March 2023 by merging methods from narratology and inferential statistics. Both crowdworkers and large language models responded to identical prompts about creating and falling in love with an artificial human. The proposed experimental paradigm allows a direct comparison between human and LLM-generated storytelling. Responses to the Pygmalionesque prompts confirm the pervasive presence of the Pygmalion myth in the collective imaginary of both humans and large language models. All solicited narratives present a scientific or technological pursuit. The analysis reveals that narratives from GPT-3.5 and particularly GPT-4 are more more progressive in terms of gender roles and sexuality than those written by humans. While AI narratives can occasionally provide innovative plot twists, they offer less imaginative scenarios and rhetoric than human-authored texts. The proposed framework argues that fiction can be used as a window into human and AI-based collective imaginary and social dimensions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google