OpenPI2.0: An Improved Dataset for Entity Tracking in Texts

要約

多くのテキストは変化する世界 (手順、記事、ニュースワイヤーなど) を説明しており、それらを理解するには、エンティティがどのように変化するかを追跡する必要があります。
以前のデータセットである OpenPI は、エンティティの状態変化に関するクラウドソースの注釈をテキストで提供していました。
ただし、大きな制限は、これらの注釈が自由形式であり、顕著な変更を特定できないことであり、モデルの評価を妨げていました。
これらの制限を克服するために、エンティティと属性が完全に正規化され、追加のエンティティ顕著性アノテーションが追加された、改良されたデータセット OpenPI2.0 を紹介します。
私たちのより公平な評価設定では、現在の最先端の言語モデルが有能とは程遠いことがわかりました。
また、顕著なエンティティの状態変化を思考連鎖プロンプトとして使用すると、質問応答や古典的な計画などのタスクで下流のパフォーマンスが向上し、関連するすべてのエンティティが無差別に関与する設定よりも優れていることも示します。
私たちは、テキスト内のエンティティのダイナミクスを理解できるモデルの継続的な開発のために OpenPI2.0 を提供します。

要約(オリジナル)

Much text describes a changing world (e.g., procedures, stories, newswires), and understanding them requires tracking how entities change. An earlier dataset, OpenPI, provided crowdsourced annotations of entity state changes in text. However, a major limitation was that those annotations were free-form and did not identify salient changes, hampering model evaluation. To overcome these limitations, we present an improved dataset, OpenPI2.0, where entities and attributes are fully canonicalized and additional entity salience annotations are added. On our fairer evaluation setting, we find that current state-of-the-art language models are far from competent. We also show that using state changes of salient entities as a chain-of-thought prompt, downstream performance is improved on tasks such as question answering and classical planning, outperforming the setting involving all related entities indiscriminately. We offer OpenPI2.0 for the continued development of models that can understand the dynamics of entities in text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google