An automatically discovered chain-of-thought prompt generalizes to novel models and datasets

要約

創発的思考連鎖（CoT）推論機能は、大規模言語モデル（LLM）の性能と説明可能性を向上させることが期待される。しかし、以前のモデル世代のために定式化された推論戦略が、新しいモデル世代や異なるデータセットにどのように一般化されるかについては、不確実性が残っている。この小規模な研究では、最近リリースされた6つのLLM（davinci-002、davinci-003、GPT-3.5-turbo、GPT-4、Flan-T5-xxl、Cohere command-xlarge）において、ゼロショットプロンプトによって誘導される様々な推論戦略を、科学と医学の領域からのデータセットを含む6つの質問応答データセットの混合で比較する。我々の発見は、効果に多少のばらつきはあるものの、CoT推論ストラテジーによる利益は、異なるモデルやデータセットにまたがって頑健であることを示している。GPT-4は、現在の最先端の推論戦略から最も多くの利益を得ており、自動発見によって以前に発見されたプロンプトを適用することで、最高の性能を示した。

要約(オリジナル)

Emergent chain-of-thought (CoT) reasoning capabilities promise to improve performance and explainability of large language models (LLMs). However, uncertainties remain about how reasoning strategies formulated for previous model generations generalize to new model generations and different datasets. In this small-scale study, we compare different reasoning strategies induced by zero-shot prompting across six recently released LLMs (davinci-002, davinci-003, GPT-3.5-turbo, GPT-4, Flan-T5-xxl and Cohere command-xlarge) on a mixture of six question-answering datasets, including datasets from scientific and medical domains. Our findings demonstrate that while some variations in effectiveness occur, gains from CoT reasoning strategies remain robust across different models and datasets. GPT-4 has the most benefit from current state-of-the-art reasoning strategies and exhibits the best performance by applying a prompt previously discovered through automated discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL