要約
物語における出来事は、その参加者の根底にある状態を介して、首尾一貫した全体として理解される。多くの場合、これらの参加者の状態は明示的に言及されることはなく、読者による推論に委ねられる。ナラティブを理解するモデルも同様に、このような暗黙の状態を推論し、さらにはこれらの状態の変化がナラティブに与える影響を推論する必要がある。この目標を容易にするために、クラウドソーシングされた新しい英語の参加者状態データセットPASTAを紹介する。このデータセットには、推測可能な参加者の状態、各状態に対する反事実的な摂動、反事実が真であった場合に必要となる物語の変更が含まれている。我々は、ある状態がストーリーに内包されていることを推論する能力、反事実の状態を条件としてストーリーを修正する能力、修正されたストーリーを与えられた場合に最も可能性の高い状態変化を説明する能力をテストする、3つの状態に基づく推論タスクを導入する。実験によると、今日のLLMはある程度状態について推論できるが、特に多様なタイプの知識（例えば物理的、数値的、事実的）へのアクセスと推論能力を必要とする問題では、改善の余地が大きい。
要約(オリジナル)
The events in a narrative are understood as a coherent whole via the underlying states of their participants. Often, these participant states are not explicitly mentioned, instead left to be inferred by the reader. A model that understands narratives should likewise infer these implicit states, and even reason about the impact of changes to these states on the narrative. To facilitate this goal, we introduce a new crowdsourced English-language, Participant States dataset, PASTA. This dataset contains inferable participant states; a counterfactual perturbation to each state; and the changes to the story that would be necessary if the counterfactual were true. We introduce three state-based reasoning tasks that test for the ability to infer when a state is entailed by a story, to revise a story conditioned on a counterfactual state, and to explain the most likely state change given a revised story. Experiments show that today’s LLMs can reason about states to some degree, but there is large room for improvement, especially in problems requiring access and ability to reason with diverse types of knowledge (e.g. physical, numerical, factual).
arxiv情報
| 著者 | Sayontan Ghosh,Mahnaz Koupaee,Isabella Chen,Francis Ferraro,Nathanael Chambers,Niranjan Balasubramanian |
| 発行日 | 2023-07-01 22:34:52+00:00 |
| arxivサイト | arxiv_id(pdf) |