Improving Factual Error Correction by Learning to Inject Factual Errors

要約

事実誤認修正 (FEC) は、最小限の編集で誤った主張の事実誤認を修正し、提供された証拠に忠実にすることを目的としています。
このタスクは、大規模な言語モデルが遭遇する幻覚の問題を軽減するために重要です。
ペアのデータ (つまり、誤った主張とそれに対応する正しい主張) が欠如していることを考慮すると、既存の方法では通常、マスクしてから修正するパラダイムが採用されます。
このパラダイムは、対になっていない誤った主張と正しい主張のみに依存するため、遠隔監視手法と呼ばれます。
これらの方法では、修正者が修正する前に、マスカーが虚偽の主張内の事実の誤りを明示的に特定する必要があります。
ただし、マスカーをトレーニングするためのペアのデータが存在しないため、主張内の事実の誤りを正確に特定することが困難になります。
これを軽減するために、マスク – 破損 – 修正という 3 段階の遠隔監視手法である、事実エラーの注入 (LIFE) の学習によって FEC を改善することを提案します。
具体的には、まずマスクしてから破損する手順を使用して破損者を訓練し、正しいテキストに事実上の誤りを意図的に導入できるようにします。
その後、不正行為がクレームの修正に適用され、相当量のペア データが生成されます。
その後、低品質のデータをフィルターで除外し、残りのデータを使用して補正者のトレーニングを行います。
特に、私たちの修正プログラムはマスカーを必要としないため、明示的な事実誤りの特定に伴うボトルネックを回避します。
公開データセットでの実験では、2 つの重要な側面で LIFE の有効性が検証されています。まず、SARI Final で 10.59 ポイント（19.3% 改善）という顕著なマージンで、以前の最高のパフォーマンスを示した遠隔教師あり手法を上回りました。
第二に、コンテキスト内の例でプロンプトされた ChatGPT と比較しても、LIFE は SARI Final で 7.16 ポイントの優位性を達成しています。

要約(オリジナル)

Factual error correction (FEC) aims to revise factual errors in false claims with minimal editing, making them faithful to the provided evidence. This task is crucial for alleviating the hallucination problem encountered by large language models. Given the lack of paired data (i.e., false claims and their corresponding correct claims), existing methods typically adopt the mask-then-correct paradigm. This paradigm relies solely on unpaired false claims and correct claims, thus being referred to as distantly supervised methods. These methods require a masker to explicitly identify factual errors within false claims before revising with a corrector. However, the absence of paired data to train the masker makes accurately pinpointing factual errors within claims challenging. To mitigate this, we propose to improve FEC by Learning to Inject Factual Errors (LIFE), a three-step distantly supervised method: mask-corrupt-correct. Specifically, we first train a corruptor using the mask-then-corrupt procedure, allowing it to deliberately introduce factual errors into correct text. The corruptor is then applied to correct claims, generating a substantial amount of paired data. After that, we filter out low-quality data, and use the remaining data to train a corrector. Notably, our corrector does not require a masker, thus circumventing the bottleneck associated with explicit factual error identification. Our experiments on a public dataset verify the effectiveness of LIFE in two key aspects: Firstly, it outperforms the previous best-performing distantly supervised method by a notable margin of 10.59 points in SARI Final (19.3% improvement). Secondly, even compared to ChatGPT prompted with in-context examples, LIFE achieves a superiority of 7.16 points in SARI Final.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google