LLMs as Models for Analogical Reasoning

要約

類似の推論 – 異なるドメイン間の構造的関係を特定してマッピングする能力は、人間の認知と学習に基づいています。
最近の研究では、大規模な言語モデル（LLM）が、類似の推論タスクで人間と一致することがあり、類似の推論がドメインの一般的なプロセスから出現する可能性を開きます。
しかし、これらの緊急能力が主に表面的であり、トレーニング中に見られる単純な関係に限定されているのか、それとも類似性の主要な認知モデルの焦点である柔軟な表現およびマッピング機能を網羅するのかどうかはまだ議論されています。
この研究では、参加者が意味的に満足した単語と文字のシーケンス、その他の抽象的な文字の間でマッピングする必要がある新しい類推タスクを紹介します。
このタスクは、人間の類推の中心であることが知られているが、これまでのところ既存の認知理論とモデルによって十分にキャプチャされていないことが知られている豊かなセマンティック情報を柔軟に再表現する能力を必要とします。
セマンティック構造とセマンティックコンテンツからの推論に焦点を当てたタスクで、人間の参加者とLLMの両方のパフォーマンスを評価し、類似の推論の堅牢性をテストするバリエーションを導入します。
高度なLLMSは、いくつかの条件で人間のパフォーマンスと一致しますが、人間とLLMは特定のタスクのバリエーションやセマンティックディストラクタに対して異なって反応します。
したがって、我々の結果は、LLMが既存の理論によってまだうまくモデル化されていないコンテキストで人間の類似の推論の可能性があることを提供するかもしれないという新しい証拠を提供しますが、今日の最高のモデルでさえ、どのように行動的に説明をもたらす可能性は低いということです。

要約(オリジナル)

Analogical reasoning-the capacity to identify and map structural relationships between different domains-is fundamental to human cognition and learning. Recent studies have shown that large language models (LLMs) can sometimes match humans in analogical reasoning tasks, opening the possibility that analogical reasoning might emerge from domain general processes. However, it is still debated whether these emergent capacities are largely superficial and limited to simple relations seen during training or whether they rather encompass the flexible representational and mapping capabilities which are the focus of leading cognitive models of analogy. In this study, we introduce novel analogical reasoning tasks that require participants to map between semantically contentful words and sequences of letters and other abstract characters. This task necessitates the ability to flexibly re-represent rich semantic information-an ability which is known to be central to human analogy but which is thus far not well-captured by existing cognitive theories and models. We assess the performance of both human participants and LLMs on tasks focusing on reasoning from semantic structure and semantic content, introducing variations that test the robustness of their analogical inferences. Advanced LLMs match human performance across several conditions, though humans and LLMs respond differently to certain task variations and semantic distractors. Our results thus provide new evidence that LLMs might offer a how-possibly explanation of human analogical reasoning in contexts that are not yet well modeled by existing theories, but that even today’s best models are unlikely to yield how-actually explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google