Can Very Large Pretrained Language Models Learn Storytelling With A Few Examples?

要約

事前にトレーニングされた言語モデルは、自動ストーリー生成用に個別に流暢な文章を生成できますが、一貫性があり、賢明で興味深いストーリーを生成するのは困難です。
現在の最先端 (SOTA) のストーリー生成モデルは、プロットや常識的な知識などの高レベルの機能を使用して、生成されたストーリーの品質を向上させます。
GPT3 などの非常に大規模な事前トレーニング済み言語モデル (VLPLM) を使用したプロンプトベースの学習は、さまざまな NLP タスクでも優れたパフォーマンスを示しています。
このホワイト ペーパーでは、VLPLM のストーリー生成機能を、ストーリーのスタイル、レジスタ、長さが異なる 3 つの異なるデータセットの SOTA モデルと比較するために、自動評価と人間による評価を使用した広範な研究を紹介します。
私たちの結果は、VLPLM が他のストーリー生成モデルよりもはるかに高品質のストーリーを生成し、人間の著者にある程度匹敵することを示していますが、予備調査では、VLPLM が世界の知識を含むシナリオで実際のストーリーを「盗用」する傾向があることも明らかにしています。

要約(オリジナル)

While pre-trained language models can generate individually fluent sentences for automatic story generation, they struggle to generate stories that are coherent, sensible and interesting. Current state-of-the-art (SOTA) story generation models explore using higher-level features such as plots or commonsense knowledge to improve the quality of generated stories. Prompt-based learning using very large pre-trained language models (VLPLMs) such as GPT3 has demonstrated impressive performance even across various NLP tasks. In this paper, we present an extensive study using automatic and human evaluation to compare the story generation capability of VLPLMs to those SOTA models in three different datasets where stories differ in style, register and length. Our results show that VLPLMs generate much higher quality stories than other story generation models, and to a certain extent rival human authors, although preliminary investigation also reveals that they tend to “plagiarise” real stories in scenarios that involve world knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google