A Nurse is Blue and Elephant is Rugby: Cross Domain Alignment in Large Language Models Reveal Human-like Patterns

要約

クロスドメイン調整とは、あるドメインから別のドメインに概念をマッピングするタスクを指します。
たとえば、「\textit{doctor} が \textit{color} だったら、それは何色でしょうか?」などです。
この一見奇妙なタスクは、カテゴリ間のマッピングとそれらのマッピングに対する推論プロセスを通じて、人々が具体的および抽象的な概念をどのように表現するかを調査するように設計されています。
この論文では、認知科学からこのタスクを適応させて、行動研究を通じて大規模言語モデル (LLM) の概念化と推論能力を評価します。
私たちは、複数の LLM にクロスドメイン マッピング タスクを指示し、集団レベルと個人レベルの両方でその応答を分析することによって調査します。
さらに、これらのマッピングの説明を分析および分類することで、モデルが予測を推論する能力を評価します。
結果は、人間とモデルのマッピングと説明の間にいくつかの類似点があることを明らかにし、モデルが人間と同様に概念を表現していることを示唆しています。
この類似性は、モデルの表現だけでなく、その動作にも明らかです。
さらに、モデルはほとんどの場合、有効な説明を提供し、人間と同様の推論パスを展開します。

要約(オリジナル)

Cross-domain alignment refers to the task of mapping a concept from one domain to another. For example, “If a \textit{doctor} were a \textit{color}, what color would it be?”. This seemingly peculiar task is designed to investigate how people represent concrete and abstract concepts through their mappings between categories and their reasoning processes over those mappings. In this paper, we adapt this task from cognitive science to evaluate the conceptualization and reasoning abilities of large language models (LLMs) through a behavioral study. We examine several LLMs by prompting them with a cross-domain mapping task and analyzing their responses at both the population and individual levels. Additionally, we assess the models’ ability to reason about their predictions by analyzing and categorizing their explanations for these mappings. The results reveal several similarities between humans’ and models’ mappings and explanations, suggesting that models represent concepts similarly to humans. This similarity is evident not only in the model representation but also in their behavior. Furthermore, the models mostly provide valid explanations and deploy reasoning paths that are similar to those of humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google