CoP: Factual Inconsistency Detection by Controlling the Preference

要約

タイトル：「CoP：好みを調整して事実の不一致を検出する」

要約：

– 要約作成というプロセスにおいて、生成される要約と与えられたドキュメントとの事実の不一致が依然として問題となっている。
– 以前の研究では、生成モデルが要約の好みを表す確率を割り当てることができることが判明し、その好みには事実の一致性や言語や知識事前の好みが含まれることがわかった。
– 本研究では、プロンプトを用いた生成モデルの好みを制御することで、事実の一致性に対する好みを分離する未監視学習のフレームワークである「CoP」を提案する。
– このフレームワークでは、追加の入力としてテキストプロンプトを導入する追加の推論ステップを実行し、この追加の推論プロセスの生成確率によって、もう一つの好みが説明される。
– 上記2つの好みの違い、つまり確率の違いは、事実の不一致を検出するための測定として使用することができる。
– 興味深いことに、適切に設計されたプロンプトにより、フレームワークは特定の好みを評価し、エンティティに関連する不一致や共参照に関する不一致など細分化された不一致のカテゴリーの測定器としても機能することがわかった。
– さらに、本フレームワークは監視学習の設定にも拡張することができ、ラベル付きデータからより良いプロンプトを学習することもできる。
– 実験では、本フレームワークが3つの事実の不一致検出タスクで新しいSOTA結果を達成することが示された。

要約(オリジナル)

Abstractive summarization is the process of generating a summary given a document as input. Although significant progress has been made, the factual inconsistency between the document and the generated summary still limits its practical applications. Previous work found that the probabilities assigned by the generation model reflect its preferences for the generated summary, including the preference for factual consistency, and the preference for the language or knowledge prior as well. To separate the preference for factual consistency, we propose an unsupervised framework named CoP by controlling the preference of the generation model with the help of prompt. More specifically, the framework performs an extra inference step in which a text prompt is introduced as an additional input. In this way, another preference is described by the generation probability of this extra inference process. The difference between the above two preferences, i.e. the difference between the probabilities, could be used as measurements for detecting factual inconsistencies. Interestingly, we found that with the properly designed prompt, our framework could evaluate specific preferences and serve as measurements for fine-grained categories of inconsistency, such as entity-related inconsistency, coreference-related inconsistency, etc. Moreover, our framework could also be extended to the supervised setting to learn better prompt from the labeled data as well. Experiments show that our framework achieves new SOTA results on three factual inconsistency detection tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI