Reasoning with Large Language Models, a Survey

要約

言語モデルを数十億のパラメーターにスケールアップすることで、コンテキスト内学習の可能性が広がり、モデルが特にトレーニングされていないタスクでの命令チューニングや少数ショット学習が可能になります。
これにより、翻訳、要約、質問応答などの言語タスクにおいて画期的なパフォーマンスを実現しました。
さらに、これらの連想的な「システム 1」タスクに加えて、思考連鎖即時学習の最近の進歩により、強力な「システム 2」推論能力が実証され、LLM が推論できるかどうかという汎用人工知能の分野での疑問に答えています。
この分野は、LLM が小学校の数学の文章問題を解けるかどうかという疑問から始まりました。
このペーパーでは、LLM を使用したプロンプトベース推論の急速に拡大している分野について概説します。
私たちの分類法は、複数ステップの推論を生成、評価、制御するためのさまざまな方法を特定します。
私たちは核となるアプローチと未解決の問題を徹底的にカバーし、近い将来の研究課題を提案します。
最後に、推論とプロンプトベース学習の関係に焦点を当て、推論、逐次決定プロセス、強化学習の関係について説明します。
プロンプトを賢明に使用することで、自己改善、内省、および推論プロセスの一部のメタ認知能力が可能であることがわかりました。
真の自己改善と自己推論、LLM による推論から LLM による推論への移行は、今後の課題です。

要約(オリジナル)

Scaling up language models to billions of parameters has opened up possibilities for in-context learning, allowing instruction tuning and few-shot learning on tasks that the model was not specifically trained for. This has achieved breakthrough performance on language tasks such as translation, summarization, and question-answering. Furthermore, in addition to these associative ‘System 1’ tasks, recent advances in Chain-of-thought prompt learning have demonstrated strong ‘System 2’ reasoning abilities, answering a question in the field of artificial general intelligence whether LLMs can reason. The field started with the question whether LLMs can solve grade school math word problems. This paper reviews the rapidly expanding field of prompt-based reasoning with LLMs. Our taxonomy identifies different ways to generate, evaluate, and control multi-step reasoning. We provide an in-depth coverage of core approaches and open problems, and we propose a research agenda for the near future. Finally, we highlight the relation between reasoning and prompt-based learning, and we discuss the relation between reasoning, sequential decision processes, and reinforcement learning. We find that self-improvement, self-reflection, and some metacognitive abilities of the reasoning processes are possible through the judicious use of prompts. True self-improvement and self-reasoning, to go from reasoning with LLMs to reasoning by LLMs, remains future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google