SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning

要約

大規模言語モデル (LLM) の最近の進歩、特に思考連鎖プロンプトの発明により、段階的な推論によって自動的に質問に答えることが可能になりました。
ただし、非線形思考を必要とするより複雑な問題に直面すると、最も強力な LLM であっても間違いを犯します。
これに対処するために、LLM が外部リソースに頼ることなく、独自の段階的な推論でエラーを認識できるかどうかを調査します。
この目的を達成するために、このようなエラーを認識するための汎用ゼロショット検証スキーマである SelfCheck を提案します。
次に、これらのチェックの結果を使用して、質問に対する複数の解決策に対して加重投票を実行することで、質問応答パフォーマンスを向上させます。
3 つのデータセット (GSM8K、MathQA、および MATH) で SelfCheck をテストしたところ、エラーが正常に認識され、最終的な回答の精度が向上することがわかりました。

要約(オリジナル)

The recent progress in large language models (LLMs), especially the invention of chain-of-thought prompting, has made it possible to automatically answer questions by stepwise reasoning. However, when faced with more complicated problems that require non-linear thinking, even the strongest LLMs make mistakes. To address this, we explore whether LLMs are able to recognize errors in their own step-by-step reasoning, without resorting to external resources. To this end, we propose SelfCheck, a general-purpose zero-shot verification schema for recognizing such errors. We then use the results of these checks to improve question-answering performance by conducting weighted voting on multiple solutions to the question. We test SelfCheck on three datasets (GSM8K, MathQA, and MATH) and find that it successfully recognizes errors and, in turn, increases final answer accuracies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google