Can Large Language Models generalize analogy solving like people can?

要約

アナロジーを解決するとき、抽象的な規則と関係の類似性を通じて、情報を既知のコンテキストから新しいコンテキストに転送します。
人間では、「体 : 足 :: テーブル : ?」などの類推を解く能力。
は小児期に出現し、視覚領域「( : ) :: < : ?」などの他の領域に容易に移行するようです。 最近の研究では、大規模言語モデル (LLM) がさまざまな形式のアナロジーを解決できることが示されています。 しかし、LLM は人間と同じように、新しい領域へのアナロジー解決を一般化できるでしょうか? これを調査するために、子供、大人、LLM に一連の文字列の類推 (例: a b : a c :: j k : ?) をラテン文字、近転移領域 (ギリシャ文字)、および遠転移領域で解いてもらいました。 ドメインを転送します (シンボルのリスト)。 予想通り、子供と大人はなじみのない領域についての知識を容易に一般化しましたが、LLM はそうではありませんでした。 人間と AI のパフォーマンスのこの重要な違いは、これらの LLM が人間のような堅牢なアナログ転送に依然として苦戦していることの証拠です。

要約(オリジナル)

When we solve an analogy we transfer information from a known context to a new one through abstract rules and relational similarity. In people, the ability to solve analogies such as ‘body : feet :: table : ?’ emerges in childhood, and appears to transfer easily to other domains, such as the visual domain ‘( : ) :: < : ?'. Recent research shows that large language models (LLMs) can solve various forms of analogies. However, can LLMs generalize analogy solving to new domains like people can? To investigate this, we had children, adults, and LLMs solve a series of letter-string analogies (e.g., a b : a c :: j k : ?) in the Latin alphabet, in a near transfer domain (Greek alphabet), and a far transfer domain (list of symbols). As expected, children and adults easily generalized their knowledge to unfamiliar domains, whereas LLMs did not. This key difference between human and AI performance is evidence that these LLMs still struggle with robust human-like analogical transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google