Do large language models solve verbal analogies like children do?

要約

類推は人間の認識の中心にあります。
大人は、関係 (\textit{飼われている}) をマッピングし、\textit{鶏小屋} に答えることによって、\textit{鶏が属するように馬は馬小屋に属します…?} のようなアナロジーを解きます。
対照的に、子供たちは、\textit{egg} と答えるなど、連想をよく使用します。
この論文では、大規模言語モデル (LLM) が A:B::C:? の言語的類似性を解決するかどうかを調査します。
子供が行うのと同様に、関連付けを使用してフォームを作成します。
私たちは、オランダの 7 ～ 12 歳の 14,002 人の 7 ～ 12 歳の児童が、オランダ語で 622 のアナロジーを解いた、オンライン適応学習環境から抽出した口頭アナロジーを使用しています。
テストされた6人のオランダ語単言語および多言語LLMは子供とほぼ同じレベルの成績を収めたが、MGPTの成績は最悪で7歳レベル程度、XLM-VとGPT-3の成績は最高で11歳レベルをわずかに上回った。
。
ただし、連想プロセスを制御すると状況は変わり、各モデルのパフォーマンス レベルは 1 ～ 2 年低下します。
さらなる実験は、連想プロセスが正しく解決されたアナロジーの基礎となることが多いことを示しています。
私たちがテストした LLM は実際に、子供たちと同じように、C との関連付けによって言葉による類推を解決する傾向があると結論付けています。

要約(オリジナル)

Analogy-making lies at the heart of human cognition. Adults solve analogies such as \textit{Horse belongs to stable like chicken belongs to …?} by mapping relations (\textit{kept in}) and answering \textit{chicken coop}. In contrast, children often use association, e.g., answering \textit{egg}. This paper investigates whether large language models (LLMs) solve verbal analogies in A:B::C:? form using associations, similar to what children do. We use verbal analogies extracted from an online adaptive learning environment, where 14,002 7-12 year-olds from the Netherlands solved 622 analogies in Dutch. The six tested Dutch monolingual and multilingual LLMs performed around the same level as children, with MGPT performing worst, around the 7-year-old level, and XLM-V and GPT-3 the best, slightly above the 11-year-old level. However, when we control for associative processes this picture changes and each model’s performance level drops 1-2 years. Further experiments demonstrate that associative processes often underlie correctly solved analogies. We conclude that the LLMs we tested indeed tend to solve verbal analogies by association with C like children do.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google