Evaluating large language models’ ability to understand metaphor and sarcasm using a screening test for Asperger syndrome

要約

比喩や皮肉は、私たちの高度に進化した社会的コミュニケーション スキルの貴重な成果です。
しかし、アスペルガー症候群の子供は、比喩を理解するのに十分な言語的IQをある程度持っていても、皮肉を理解するのが難しいことが知られています。
そのことを踏まえ、比喩や皮肉を理解する能力を採点するスクリーニングテストが、アスペルガー症候群を、同様の外部行動を示す他の症状（注意欠陥/多動性障害など）から区別するために使用されてきました。
この研究では、標準化されたテストを使用して、人間の微妙なコミュニケーションを理解する際の最近の大規模言語モデル (LLM) の能力を検証します。
その結果、モデルパラメータの数が増加するにつれて比喩を理解する能力は向上したが、皮肉の理解の向上は観察されなかったことが明らかになった。
これは、LLMに皮肉を理解する能力を吹き込むには、別のアプローチが不可欠であることを意味します。皮肉を理解する能力は、人間の場合、感情学習にとって重要な大脳領域である扁桃体に関連しています。

要約(オリジナル)

Metaphors and sarcasm are precious fruits of our highly-evolved social communication skills. However, children with Asperger syndrome are known to have difficulties in comprehending sarcasm, even if they possess a certain level of verbal IQ sufficient for understanding metaphors. Given that, a screening test that scores the ability to understand metaphor and sarcasm has been used to differentiate Asperger syndrome from other symptoms exhibiting akin external behaviors (e.g., attention-deficit/hyperactivity disorder). This study uses the standardized test to examine the capability of recent large language models (LLMs) in understanding human nuanced communication. The results divulged that, whereas their ability to comprehend metaphors has been improved with the increase of the number of model parameters, the improvement in sarcasm understanding was not observed. This implies that an alternative approach is imperative to imbue LLMs with the capacity to grasp sarcasm, which has been associated with the amygdala, a pivotal cerebral region for emotional learning, in the case of humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google