SMoT: Think in State Machine

要約

言語モデル推論の現在のプロンプト アプローチは主に言語モデル (LLM) の推論パスの自律探索に依存しており、誤ったルートに遭遇した場合には避けられない再追跡操作に直面します。
これに続いて、別の推論経路の追求が続きます。
しかし、人間は問題から最適な解決策を抽出することに熟達しているため、同様の問題を解決するための迅速かつ正確な推論が容易になります。
これを踏まえて、私たちは専門知識を活用して LLM 内の問題解決を強化する可能性を掘り下げます。
私たちは、事前定義されたステート マシンを使用して LLM に効率的な推論パスを提供し、それによって無駄な探索を排除する、新しいパラダイムである State Machine of Thought (SMoT) を導入します。
さらに、SMoT推論の精度を高めることを目的として、エージェントに異なる目的を割り当てるマルチエージェントメカニズムを提案します。
配列推論タスクから得られた実験結果は、SMoT が 95% という驚異的な精度を実現し、最先端のベースラインのパフォーマンスを上回っていることを明らかにしています。

要約(オリジナル)

Current prompting approach for language model inference mainly rely on Language Model’s (LLM) autonomous exploration of reasoning paths, confronts an inevitable retracing operation when erroneous routes are encountered. This is followed by the pursuit of alternative reasoning paths. However, humans are adept at abstracting optimal solutions from problems, thereby facilitating swift and precise reasoning for similar problems resolution. In light of this, we delves into the potential of harnessing expert knowledge to enhance problem-solving within LLMs. We introduce a novel paradigm, the State Machine of Thought (SMoT), which employs predefined state machines to furnish LLMs with efficient reasoning paths, thereby eliminating fruitless exploration. Furthermore, we propose a multi-agent mechanism that assigns different objectives to agents, aiming to enhance the accuracy of SMoT reasoning. The experimental results, derived from an array reasoning task, reveal that SMoT realizes an extraordinary accuracy of 95\%, surpassing the performance of the state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google