Finding Flawed Fictions: Evaluating Complex Reasoning in Language Models via Plot Hole Detection

要約

物語は人間の経験の基本的な側面です。
ストーリーと深く関与し、物語の世界の内部論理やルールを破るストーリーの矛盾の矛盾を見つけることには、エンティティやイベントの追跡や相互作用、抽象的な物語の理解、常識と社会的推論、および心の理論など、微妙な推論スキルが必要です。
大規模な言語モデル（LLMS）がテキストを生成、解釈、変更するにつれて、物語の一貫性とより深い言語理解を厳密に評価することが重要になります。
ただし、既存のベンチマークは主に表面レベルの理解に焦点を当てています。
この作業では、LLMSの言語理解と推論を評価するためのプロキシとして、ストーリーのプロットホール検出を提案します。
FlawedFictionsmakerを紹介します。これは、人間が作成したストーリーのプロットホールを制御できるように慎重に合成する新しいアルゴリズムです。
このアルゴリズムを使用して、ストーリーのLLMSのプロットホール検出能力 – 欠陥のある能力を評価するベンチマークを構築します。
最先端のLLMSは、許可されている推論の努力に関係なく、欠陥のあるフィクションを正確に解決するのに苦労しており、ストーリーの長さが増加するにつれてパフォーマンスが大幅に低下していることがわかります。
最後に、LLMベースのストーリーの要約とストーリー生成がプロットホールを導入する傾向があり、人間が作成したオリジナルに関してプロットホール検出速度が50％以上および100％増加することを示しています。

要約(オリジナル)

Stories are a fundamental aspect of human experience. Engaging deeply with stories and spotting plot holes — inconsistencies in a storyline that break the internal logic or rules of a story’s world — requires nuanced reasoning skills, including tracking entities and events and their interplay, abstract thinking, pragmatic narrative understanding, commonsense and social reasoning, and theory of mind. As Large Language Models (LLMs) increasingly generate, interpret, and modify text, rigorously assessing their narrative consistency and deeper language understanding becomes critical. However, existing benchmarks focus mainly on surface-level comprehension. In this work, we propose plot hole detection in stories as a proxy to evaluate language understanding and reasoning in LLMs. We introduce FlawedFictionsMaker, a novel algorithm to controllably and carefully synthesize plot holes in human-written stories. Using this algorithm, we construct a benchmark to evaluate LLMs’ plot hole detection abilities in stories — FlawedFictions — , which is robust to contamination, with human filtering ensuring high quality. We find that state-of-the-art LLMs struggle in accurately solving FlawedFictions regardless of the reasoning effort allowed, with performance significantly degrading as story length increases. Finally, we show that LLM-based story summarization and story generation are prone to introducing plot holes, with more than 50% and 100% increases in plot hole detection rates with respect to human-written originals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google