Locations of Characters in Narratives: Andersen and Persuasion Datasets

要約

物語文脈の中で空間理解を把握する機械の能力は、読解の興味深い側面であり、研究が続けられている。物語における登場人物とそれぞれの場所との関係を理解するAIの能力をテストするという目標に突き動かされ、我々は2つの新しいデータセットを紹介する：AndersenとPersuasionである。Andersenデータセットでは、ハンス・クリスチャン・アンデルセンの「Andersen’s Fairy Tales」から15の童話を選択し、各話を通して登場人物とそれぞれの場所を手作業で注釈した。同様に、Persuasionデータセットでは、Jane Austenの小説’Persuasion’の登場人物とその場所を手作業で注釈した。我々はこれらのデータセットを用いて大規模言語モデル（LLM）をプロンプトした。プロンプトは物語や小説から抜粋し、その抜粋に登場する人物の場所を尋ねる質問と組み合わせることで作成される。私たちがテストした5つのLLMのうち、Andersenデータセットで最も良い結果を出したLLMは61.85%の例で場所を正確に特定し、Persuasionデータセットで最も良い結果を出したLLMは56.06%の例で場所を正確に特定した。

要約(オリジナル)

The ability of machines to grasp spatial understanding within narrative contexts is an intriguing aspect of reading comprehension that continues to be studied. Motivated by the goal to test the AI’s competence in understanding the relationship between characters and their respective locations in narratives, we introduce two new datasets: Andersen and Persuasion. For the Andersen dataset, we selected fifteen children’s stories from ‘Andersen’s Fairy Tales’ by Hans Christian Andersen and manually annotated the characters and their respective locations throughout each story. Similarly, for the Persuasion dataset, characters and their locations in the novel ‘Persuasion’ by Jane Austen were also manually annotated. We used these datasets to prompt Large Language Models (LLMs). The prompts are created by extracting excerpts from the stories or the novel and combining them with a question asking the location of a character mentioned in that excerpt. Out of the five LLMs we tested, the best-performing one for the Andersen dataset accurately identified the location in 61.85% of the examples, while for the Persuasion dataset, the best-performing one did so in 56.06% of the cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL