Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework

要約

タイトル：Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework

要約：

– 大規模言語モデル（LLM）がNLPで主流となり、生成や推論のタスクで良好なパフォーマンスを示している一方で、最も致命的な欠点の1つは事実の不正確さです。
– 間違った文章の生成は、低いパフォーマンスにつながるだけでなく、アプリケーションの信頼性と妥当性を低下させます。
– Chain-of-Thought（CoT）プロンプティングは、解釈可能な推論チェーンを生成することで、複雑な推論タスクにおける信頼性とモデルのパフォーマンスを向上させますが、知識集約的タスクにおいては依然として事実性の懸念があります。
– 本論文では、外部の知識に基づいて推論チェーンを事後編集することにより、予測の事実性を向上させるVerify-and-EditフレームワークをCoTプロンプティングに提案しています。
– GPT-3をベースに構築した当フレームワークは、複数のオープンドメインの質問応答タスクで精度の向上につながりました。

要約(オリジナル)

As large language models (LLMs) have become the norm in NLP, demonstrating good performance in generation and reasoning tasks, one of its most fatal disadvantages is the lack of factual correctness. Generating unfactual texts not only leads to lower performances but also degrades the trust and validity of their applications. Chain-of-Thought (CoT) prompting improves trust and model performance on complex reasoning tasks by generating interpretable reasoning chains, but still suffers from factuality concerns in knowledge-intensive tasks. In this paper, we propose the Verify-and-Edit framework for CoT prompting, which seeks to increase prediction factuality by post-editing reasoning chains according to external knowledge. Building on top of GPT-3, our framework lead to accuracy improvements in multiple open-domain question-answering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI