Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

要約

思考連鎖 (CoT) プロンプトは、大規模な言語モデルやマルチモーダル モデルを操作するために広く使用される戦略になりました。
CoT は多くのタスクにわたってパフォーマンスを向上させることが示されていますが、CoT が効果的な設定を決定することは継続的な取り組みのままです。
特に、どのような設定で CoT がモデルのパフォーマンスを体系的に低下させるかはまだ未解決の問題です。
この論文では、認知心理学からインスピレーションを得て、CoT がパフォーマンスを低下させるタスクの特徴を特定しようとします。(i) 口頭での思考や熟慮が人間のパフォーマンスを損なう場合、および (ii) 人間のパフォーマンスを支配する制約が次のように一般化される場合を検討します。
言語モデル。
そのような 3 つのケースは、暗黙的な統計学習、視覚認識、および例外を含むパターンによる分類です。
3 つの設定すべてにわたる広範な実験で、さまざまな最先端モデルのコレクションがパフォーマンスの大幅な低下を示していることがわかりました (たとえば、GPT-4o と比較して OpenAI o1-preview の絶対精度は最大 36.3%)。
ゼロショット対応物と比較した推論時間推論を使用した場合。
また、条件 (i) を満たすが (ii) を満たさない 3 つのタスクを特定し、言語的思考がこれらのタスクにおける人間のパフォーマンスを低下させる一方で、CoT はモデルのパフォーマンスを維持または向上させることを発見しました。
全体として、私たちの結果は、モデルの認知プロセスと人間の認知プロセスの間に正確な類似点はないものの、思考が人間のパフォーマンスに悪影響を与えるケースを考慮することは、それがモデルに悪影響を与える設定を特定するのに役立つことを示しています。
人間の熟慮に関する文献を CoT の評価と結び付けることで、即時の選択と推論時間推論の影響を理解するために使用できる新しいツールを提供します。

要約(オリジナル)

Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google