EvolvTrip: Enhancing Literary Character Understanding with Temporal Theory-of-Mind Graphs

要約

キャラクターの魅力的な描写は、物語の執筆の成功に不可欠です。
読者にとって、キャラクターの特性を評価するには、複雑なストーリーラインの過程で進化する信念、欲求、意図、理論の理論（トム）として知られる認知スキルを推測する能力が必要です。
長期にわたる物語でトムの推論を実行するには、読者が歴史的背景を現在の物語情報と統合する必要があります。これは、人間が優れているが大規模な言語モデル（LLM）がしばしば苦労するタスクです。
LLMSのTOM推論能力を長い物語で体系的に評価するために、古典文学の4つのTOM次元にわたってキャラクター中心の質問のベンチマークであるLitchartomを構築します。
さらに、物語全体の心理的発達を追跡する視点を意識した一時的な知識グラフであるEvolvtripを紹介します。
私たちの実験は、Evolvtripが、挑戦的な拡張コンテキストシナリオであっても、さまざまなスケール全体でLLMのパフォーマンスを一貫して強化することを示しています。
EvolvTripは、より小さなモデルにとって特に価値があり、パフォーマンスのギャップをより大きなLLMで部分的に埋め、長い物語との優れた互換性を示していることがわかります。
私たちの調査結果は、物語の理解における一時的な性格の精神状態の明示的な表現の重要性を強調し、より洗練されたキャラクター理解の基盤を提供します。
データとコードは、https://github.com/bernard-yang/evolvtripで公開されています。

要約(オリジナル)

A compelling portrayal of characters is essential to the success of narrative writing. For readers, appreciating a character’s traits requires the ability to infer their evolving beliefs, desires, and intentions over the course of a complex storyline, a cognitive skill known as Theory-of-Mind (ToM). Performing ToM reasoning in prolonged narratives requires readers to integrate historical context with current narrative information, a task at which humans excel but Large Language Models (LLMs) often struggle. To systematically evaluate LLMs’ ToM reasoning capability in long narratives, we construct LitCharToM, a benchmark of character-centric questions across four ToM dimensions from classic literature. Further, we introduce EvolvTrip, a perspective-aware temporal knowledge graph that tracks psychological development throughout narratives. Our experiments demonstrate that EvolvTrip consistently enhances performance of LLMs across varying scales, even in challenging extended-context scenarios. EvolvTrip proves to be particularly valuable for smaller models, partially bridging the performance gap with larger LLMs and showing great compatibility with lengthy narratives. Our findings highlight the importance of explicit representation of temporal character mental states in narrative comprehension and offer a foundation for more sophisticated character understanding. Our data and code are publicly available at https://github.com/Bernard-Yang/EvolvTrip.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google