Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction

要約

人間の認知における類推の重要な役割により、共有の関係構造を通じて馴染みのある概念と結びつけ、新しい概念を把握できるようになります。
これまでの研究では単語の類推に注目が集まっていたにもかかわらず、この研究は、大規模言語モデル (LLM) がこれらの類推を支える構造を見落としがちであることを示唆しており、人間の認知に似た類推推論スキルの尺度としての単語の類推の有効性について疑問を生じさせています。
これに応えて、私たちの論文では、認知心理学に基づいた、2 つのシステム間の類似性を形成する構造をアブダクションするように設計されたアナロジー構造アブダクションのタスクを紹介します。
このタスクをサポートするために、構造アブダクションによる類推推論を評価するために調整された、13 の異なる分野からの 400 の科学的類推を含む SCAR と呼ばれるベンチマークを確立しました。
経験的証拠は、ChatGPT や GPT-4 を含む LLM がこのタスクを習得する際に継続的な課題に直面していることを強調しており、能力を向上させるために将来の探求が必要であることを示しています。

要約(オリジナル)

The vital role of analogical reasoning in human cognition allows us to grasp novel concepts by linking them with familiar ones through shared relational structures. Despite the attention previous research has given to word analogies, this work suggests that Large Language Models (LLMs) often overlook the structures that underpin these analogies, raising questions about the efficacy of word analogies as a measure of analogical reasoning skills akin to human cognition. In response to this, our paper introduces a task of analogical structure abduction, grounded in cognitive psychology, designed to abduce structures that form an analogy between two systems. In support of this task, we establish a benchmark called SCAR, containing 400 scientific analogies from 13 distinct fields, tailored for evaluating analogical reasoning with structure abduction. The empirical evidence underlines the continued challenges faced by LLMs, including ChatGPT and GPT-4, in mastering this task, signifying the need for future exploration to enhance their abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google