要約
虚偽の可能性のある主張文が与えられた場合、最小限の編集で自動的に修正するにはどうすればよいでしょうか?
既存の方法では、教師付きトレーニングのために誤ったクレームと訂正されたクレームの多数のペアが必要になるか、発話内の複数のトークンにまたがるエラーを適切に処理できません。
この論文では、最小限の編集で事実に基づく誤り訂正 (FEC) の新しい方法である VENCE を提案します。
VENCE は、ターゲット密度関数に関する反復サンプリング編集アクションとして FEC 問題を定式化します。
オフラインでトレーニングされた事実検証モデルから予測された真実性スコアを使用して、ターゲット関数を慎重に設計します。
VENCE は、遠隔教師付き言語モデル (T5) を使用して、入力トークンと編集アクションに関する真実性スコアの逆算勾配に基づいて、最も可能性の高い編集位置をサンプリングします。
公開データセットでの実験では、VENCE が以前の最良の遠隔監視方法よりも、広く採用されている SARI メトリックを 5.3 (または 11.8% の相対的な改善) 改善することが示されています。
要約(オリジナル)
Given a possibly false claim sentence, how can we automatically correct it with minimal editing? Existing methods either require a large number of pairs of false and corrected claims for supervised training or do not handle well errors spanning over multiple tokens within an utterance. In this paper, we propose VENCE, a novel method for factual error correction (FEC) with minimal edits. VENCE formulates the FEC problem as iterative sampling editing actions with respect to a target density function. We carefully design the target function with predicted truthfulness scores from an offline trained fact verification model. VENCE samples the most probable editing positions based on back-calculated gradients of the truthfulness score concerning input tokens and the editing actions using a distantly-supervised language model (T5). Experiments on a public dataset show that VENCE improves the well-adopted SARI metric by 5.3 (or a relative improvement of 11.8%) over the previous best distantly-supervised methods.
arxiv情報
| 著者 | Jiangjie Chen,Rui Xu,Wenxuan Zeng,Changzhi Sun,Lei Li,Yanghua Xiao |
| 発行日 | 2023-02-23 12:59:27+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google