The Next Chapter: A Study of Large Language Models in Storytelling

要約

生成されるストーリーの品質を高めるために、最近のストーリー生成モデルでは、プロットや常識知識などのより高いレベルの属性の利用が研究されています。
GPT-3 に代表される大規模言語モデル (LLM) を使用したプロンプトベースの学習のアプリケーションは、さまざまな自然言語処理 (NLP) タスクで顕著なパフォーマンスを示しています。
この論文では、ストーリーのスタイル、レジスター、長さが異なる 3 つのデータセットにわたって、LLM のストーリー生成能力を最新のモデルと比較するために、自動評価と人間による評価の両方を利用して包括的な調査を実施しています。
この結果は、LLM が他のストーリー生成モデルと比較して、大幅に高品質のストーリーを生成することを示しています。
さらに、世界の知識が関係する状況では現実の物語を再現する傾向があり、盗作に似ているという予備的観測はあるものの、人間の作者と競合するレベルのパフォーマンスを示します。

要約(オリジナル)

To enhance the quality of generated stories, recent story generation models have been investigating the utilization of higher-level attributes like plots or commonsense knowledge. The application of prompt-based learning with large language models (LLMs), exemplified by GPT-3, has exhibited remarkable performance in diverse natural language processing (NLP) tasks. This paper conducts a comprehensive investigation, utilizing both automatic and human evaluation, to compare the story generation capacity of LLMs with recent models across three datasets with variations in style, register, and length of stories. The results demonstrate that LLMs generate stories of significantly higher quality compared to other story generation models. Moreover, they exhibit a level of performance that competes with human authors, albeit with the preliminary observation that they tend to replicate real stories in situations involving world knowledge, resembling a form of plagiarism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google