Automatic Model Selection with Large Language Models for Reasoning

要約

思考連鎖モデルとプログラム支援言語モデルは 2 つの異なる推論方法を表しており、それぞれに独自の長所と短所があります。
モデル選択を実行するために大規模言語モデル (LLM) を採用し、さまざまな問題に対してさまざまなモデルを使用することで、両方の長所を組み合わせることが可能であることを示します。
理論的な分析を通じて、パフォーマンスの向上は、組み合わせた方法の違いと正しいモデルの選択の成功率によって決まることがわかりました。
8 つの推論データセットに関して、私たちが提案したアプローチは大幅な改善を示しています。
さらに、GSM8K と SVAMP でそれぞれ 96.5% と 93.7% の精度という新しい最先端の結果を達成しました。
私たちのコードは https://github.com/XuZhao0/Model-Selection-Reasoning で公開されています。

要約(オリジナル)

Chain-of-Thought and Program-Aided Language Models represent two distinct reasoning methods, each with its own strengths and weaknesses. We demonstrate that it is possible to combine the best of both worlds by using different models for different problems, employing a large language model (LLM) to perform model selection. Through a theoretical analysis, we discover that the performance improvement is determined by the differences between the combined methods and the success rate of choosing the correct model. On eight reasoning datasets, our proposed approach shows significant improvements. Furthermore, we achieve new state-of-the-art results on GSM8K and SVAMP with accuracies of 96.5% and 93.7%, respectively. Our code is publicly available at https://github.com/XuZhao0/Model-Selection-Reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google