Improving Factuality and Reasoning in Language Models through Multiagent Debate

要約

近年、大規模言語モデル (LLM) は、言語の生成、理解、および少数ショット学習において顕著な能力を実証しています。
広範な研究では、検証、自己一貫性、または中間スクラッチパッドに至るまでのプロンプトツールを使用して、パフォーマンスをさらに向上させる方法が検討されています。
この論文では、言語応答を改善するための補完的なアプローチを紹介します。このアプローチでは、複数の言語モデル インスタンスが、共通の最終的な答えに到達するために、複数のラウンドにわたって個々の応答と推論プロセスを提案および議論します。
私たちの調査結果は、このアプローチが多くのタスクにわたって数学的および戦略的推論を大幅に強化することを示しています。
また、私たちのアプローチにより、生成されたコンテンツの事実の妥当性が向上し、現代のモデルが陥りやすい誤った回答や幻覚が減少することも実証しました。
私たちのアプローチは既存のブラックボックス モデルに直接適用でき、調査するすべてのタスクに対して同一の手順とプロンプトを使用します。
全体として、私たちの調査結果は、このような「心の社会」アプローチがLLMの能力を大幅に向上させ、言語の生成と理解におけるさらなるブレークスルーへの道を開く可能性があることを示唆しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities in language generation, understanding, and few-shot learning in recent years. An extensive body of work has explored how their performance may be further improved through the tools of prompting, ranging from verification, self-consistency, or intermediate scratchpads. In this paper, we present a complementary approach to improve language responses where multiple language model instances propose and debate their individual responses and reasoning processes over multiple rounds to arrive at a common final answer. Our findings indicate that this approach significantly enhances mathematical and strategic reasoning across a number of tasks. We also demonstrate that our approach improves the factual validity of generated content, reducing fallacious answers and hallucinations that contemporary models are prone to. Our approach may be directly applied to existing black-box models and uses identical procedure and prompts for all tasks we investigate. Overall, our findings suggest that such ‘society of minds’ approach has the potential to significantly advance the capabilities of LLMs and pave the way for further breakthroughs in language generation and understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google