Can LLMs Help Improve Analogical Reasoning For Strategic Decisions? Experimental Evidence from Humans and GPT-4

要約

この研究では、大規模な言語モデル、特にGPT4が、戦略的意思決定のコンテキスト内での類似の推論において人間の能力を一致させることができるかどうかを調査します。
ソースを含む新しい実験設計を使用してマッチングをターゲットにするために、GPT4はすべてのもっともらしい類推を取得することにより高いリコールを達成しますが、低精度に苦しみ、表面的な類似性に基づいて誤った類似性を適用することが多いことがわかります。
対照的に、人間の参加者は高精度ではあるが低いリコールを示し、より少ない類推を選択しますが、より強い因果関係を備えています。
これらの発見は、単純な検索を超えた正確な因果マッピングを必要とする明確なステップとして、類似の推論の評価段階であるマッチングを識別することにより理論を前進させます。
現在のLLMは候補者の類推を生成するのに熟練していますが、人間はドメイン全体で深い構造的類似性を認識する上で比較利点を維持しています。
エラー分析により、AIエラーは表面レベルのマッチングから生じるのに対し、ヒューマンエラーは因果構造の誤解に起因することが明らかになりました。
総合すると、結果は、LLMが幅広い類推ジェネレーターとして機能する可能性があるAIの生産的な分業の組織の意思決定を支援し、人間は戦略的問題に最も文脈的に適切な類推を適用する重要な評価者として機能することを示唆しています。

要約(オリジナル)

This study investigates whether large language models, specifically GPT4, can match human capabilities in analogical reasoning within strategic decision making contexts. Using a novel experimental design involving source to target matching, we find that GPT4 achieves high recall by retrieving all plausible analogies but suffers from low precision, frequently applying incorrect analogies based on superficial similarities. In contrast, human participants exhibit high precision but low recall, selecting fewer analogies yet with stronger causal alignment. These findings advance theory by identifying matching, the evaluative phase of analogical reasoning, as a distinct step that requires accurate causal mapping beyond simple retrieval. While current LLMs are proficient in generating candidate analogies, humans maintain a comparative advantage in recognizing deep structural similarities across domains. Error analysis reveals that AI errors arise from surface level matching, whereas human errors stem from misinterpretations of causal structure. Taken together, the results suggest a productive division of labor in AI assisted organizational decision making where LLMs may serve as broad analogy generators, while humans act as critical evaluators, applying the most contextually appropriate analogies to strategic problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google