Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models

要約

大規模言語モデル (LLM) は、幅広いタスクにおいて優れた創発的能力を示していますが、複雑な推論問題を処理する際には依然として課題に直面しています。
思考連鎖 (CoT) や思考ツリー (ToT) などのこれまでの研究は、主に精度の向上に焦点を当てていましたが、急速に増加するトークン コストを見落としていました。これは、膨大な量のオープンエンドな現実世界のタスクでは特に問題となる可能性があります。
ソリューションスペース。
人間の認知の二重プロセス理論に動機付けられ、効率的な推論のためにハイブリッド LLM の相乗効果の可能性を解き放つ「思考の相乗効果」(SoT) を提案します。
デフォルトでは、SoT は小規模な言語モデルを使用して複数の低コストの推論思考を生成します。これはシステム 1 によって生成される並列直観に似ています。これらの直観が矛盾を示す場合、SoT はスケールアップされた言語モデルの反射的推論を呼び出して、
システム 2 の介入により、直感的な思考が無効になり、推論プロセスが修正されます。
このフレームワークはモデルに依存せず、トレーニングも不要で、さまざまな既製の LLM を使用して柔軟に実装できます。
6 つの代表的な推論タスクに関する実験では、SoT がトークン コストを 38.3% ～ 75.1% 大幅に削減し、同時に最先端の推論精度とソリューションの多様性を達成することが示されました。
特に、オープンエンドタスクの平均トークンコスト削減率は最大 69.1% に達します。
すべてのプロンプトを含むコード リポジトリは、公開と同時にリリースされます。

要約(オリジナル)

Large language models (LLMs) have shown impressive emergent abilities in a wide range of tasks, but still face challenges in handling complex reasoning problems. Previous works like chain-of-thought (CoT) and tree-of-thoughts (ToT) have predominately focused on enhancing accuracy, but overlook the rapidly increasing token cost, which could be particularly problematic for open-ended real-world tasks with huge solution spaces. Motivated by the dual process theory of human cognition, we propose ‘Synergy of Thoughts’ (SoT) to unleash the synergistic potential of hybrid LLMs for efficient reasoning. By default, SoT uses smaller-scale language models to generate multiple low-cost reasoning thoughts, which resembles the parallel intuitions produced by System 1. If these intuitions exhibit conflicts, SoT will invoke the reflective reasoning of scaled-up language models to emulate the intervention of System 2, which will override the intuitive thoughts and rectify the reasoning process. This framework is model-agnostic and training-free, which can be flexibly implemented with various off-the-shelf LLMs. Experiments on six representative reasoning tasks show that SoT substantially reduces the token cost by 38.3%-75.1%, and simultaneously achieves state-of-the-art reasoning accuracy and solution diversity. Notably, the average token cost reduction on open-ended tasks reaches up to 69.1%. Code repo with all prompts will be released upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google