FacTool: Factuality Detection in Generative AI — A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios

要約

事前トレーニング済み生成モデルの出現により、高品質のテキストの合成が容易になりましたが、生成されたテキスト内の事実誤認を特定する際に課題も生じています。
特に: (1) 現在、より広範囲のタスクが、生成モデルで処理される場合に事実上の誤りが含まれるリスクの増加に直面しています。
(2) 生成されたテキストは長くなる傾向があり、個々の事実について明確に定義された粒度が不足しています。
(3) 事実確認の過程で利用できる明確な証拠が不足している。
上記の課題を念頭に置いて、この論文では、大規模な言語モデル (ChatGPT など) によって生成されたテキストの事実誤認を検出するための、タスクおよびドメインに依存しないフレームワークである FacTool を提案します。
4 つの異なるタスク (知識ベースの QA、コード生成、数学的推論、科学文献のレビュー) に関する実験により、提案された方法の有効性が示されています。
ChatGPT プラグイン インターフェイスに関連付けられた FacTool のコードを https://github.com/GAIR-NLP/factool でリリースします。

要約(オリジナル)

The emergence of generative pre-trained models has facilitated the synthesis of high-quality text, but it has also posed challenges in identifying factual errors in the generated text. In particular: (1) A wider range of tasks now face an increasing risk of containing factual errors when handled by generative models. (2) Generated texts tend to be lengthy and lack a clearly defined granularity for individual facts. (3) There is a scarcity of explicit evidence available during the process of fact checking. With the above challenges in mind, in this paper, we propose FacTool, a task and domain agnostic framework for detecting factual errors of texts generated by large language models (e.g., ChatGPT). Experiments on four different tasks (knowledge-based QA, code generation, mathematical reasoning, and scientific literature review) show the efficacy of the proposed method. We release the code of FacTool associated with ChatGPT plugin interface at https://github.com/GAIR-NLP/factool .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google