FACTTRACK: Time-Aware World State Tracking in Story Outlines

要約

言語モデルの出力における事実の矛盾を正確に検出して修正することは、その機能が向上するにつれてますます重要になっていますが、これを行うことは非常に困難です。
我々は、原子的な事実を追跡し、事実の矛盾に対処するための新しい方法、FACTTRACK を提案します。
重要なことは、FACTTRACK は各ファクトの時間を意識した有効期間も維持し、時間の経過に伴う変更に対応できることです。
高レベルでは、FACTTRACK は、新しいイベントごとに世界状態データ構造を更新するための 4 つのステップのパイプラインで構成されています。(1) イベントを方向性のあるアトミック ファクトに分解します。
(2) 世界状態を使用して各原子ファクトの有効範囲を決定します。
(3) 世界国家における既存の事実との矛盾を検出する。
そして最後に、(4) 新しい事実を世界状態に追加し、既存の原子的事実を更新します。
FACTTRACK を構造化ストーリー アウトラインの矛盾検出に適用すると、LLaMA2-7B-Chat を使用した FACTTRACK は LLaMA2-7B-Chat を使用した公正なベースラインを大幅に上回り、GPT4 ベースラインに匹敵するパフォーマンスを達成することがわかりました。
さらに、GPT4 を使用すると、FACTTRACK は GPT4 ベースラインを大幅に上回ります。

要約(オリジナル)

While accurately detecting and correcting factual contradictions in language model outputs has become increasingly important as their capabilities improve, doing so is highly challenging. We propose a novel method, FACTTRACK, for tracking atomic facts and addressing factual contradictions. Crucially, FACTTRACK also maintains time-aware validity intervals for each fact, allowing for change over time. At a high level, FACTTRACK consists of a four-step pipeline to update a world state data structure for each new event: (1) decompose the event into directional atomic facts; (2) determine the validity interval of each atomic fact using the world state; (3) detect contradictions with existing facts in the world state; and finally (4) add new facts to the world state and update existing atomic facts. When we apply FACTTRACK to contradiction detection on structured story outlines, we find that FACTTRACK using LLaMA2-7B-Chat substantially outperforms a fair baseline using LLaMA2-7B-Chat, and achieves performance comparable to a GPT4 baseline. Moreover, when using GPT4, FACTTRACK significantly outperforms the GPT4 baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google