Evaluating Creative Short Story Generation in Humans and Large Language Models

要約

ストーリーテリングは人間のコミュニケーションの基本的な側面であり、斬新で適切かつ驚くべき物語を作り出すには創造力に大きく依存しています。
大規模言語モデル (LLM) は最近、高品質のストーリーを生成する能力を実証しましたが、その創造的な能力はまだ解明されていません。
これまでの研究では、短い応答を必要とする創造性テストに焦点を当てているか、主にストーリー生成におけるモデルのパフォーマンスをプロの作家のパフォーマンスと比較していました。
しかし、LLM が短編小説を書く上で平均的な人間と同等の創造性を発揮するかどうかという疑問は未解決のままです。
この研究では、LLM と一般の人々にわたる短編小説生成における創造性の体系的な分析を実施します。
人間の創造性を評価するために心理学で一般的に使用されている 5 文のクリエイティブ ストーリー タスクを使用して、新規性、驚き、多様性などの創造性のいくつかの側面にわたって、モデルと人間が作成したストーリーを自動的に評価します。
私たちの調査結果では、LLM は文体的に複雑なストーリーを生成できるものの、平均的な人間の作家と比較すると創造性の点で劣る傾向があることが明らかになりました。

要約(オリジナル)

Storytelling is a fundamental aspect of human communication, relying heavily on creativity to produce narratives that are novel, appropriate, and surprising. While large language models (LLMs) have recently demonstrated the ability to generate high-quality stories, their creative capabilities remain underexplored. Previous research has either focused on creativity tests requiring short responses or primarily compared model performance in story generation to that of professional writers. However, the question of whether LLMs exhibit creativity in writing short stories on par with the average human remains unanswered. In this work, we conduct a systematic analysis of creativity in short story generation across LLMs and everyday people. Using a five-sentence creative story task, commonly employed in psychology to assess human creativity, we automatically evaluate model- and human-generated stories across several dimensions of creativity, including novelty, surprise, and diversity. Our findings reveal that while LLMs can generate stylistically complex stories, they tend to fall short in terms of creativity when compared to average human writers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google