Large Language Model Displays Emergent Ability to Interpret Novel Literary Metaphors

要約

最近の大規模言語モデル（LLM）の性能の進歩は、十分な訓練がなされた場合、このような汎用的な人工知能（AI）に人間の高度な能力が現れるかどうかについての議論を巻き起こしている。LLMは、自然言語処理と推論を含む幅広いタスクで卓越した性能を発揮しているにもかかわらず、その能力がより創造的な人間の能力にまで及ぶかどうかについては、鋭い意見の相違がある。中心的な例は、新しいメタファーを解釈する能力である。LLMを訓練するために使用される膨大でキュレーションされていないテキスト・コーパスを考えると、テストを設計するための重大な障害は、訓練データに含まれている可能性が低い、新規でありながら質の高いメタファーを見つけるという要求です。ここでは、最新の大規模言語モデルであるGPT-4が、セルビア語の詩から引き出され、英語に翻訳された新しい文学的比喩の自然言語解釈を提供する能力を評価した。このAIシステムは、以前にこれらのメタファーに触れた形跡がないにもかかわらず、一貫して詳細で鋭い解釈を行った。人間の審査員は、AIモデルが関与しているという事実を知らないが、GPT-4が生成した比喩の解釈を、大学生グループが提供したものよりも優れていると評価した。逆転したメタファーを解釈する際、人間と同様にGPT-4もグリセの協調原理に対する感受性の兆候を示した。これらの結果は、GPT-4のようなLLMが、複雑で新しいメタファーを解釈する能力を獲得したことを示している。

要約(オリジナル)

Recent advances in the performance of large language models (LLMs) have sparked debate over whether, given sufficient training, high-level human abilities emerge in such generic forms of artificial intelligence (AI). Despite the exceptional performance of LLMs on a wide range of tasks involving natural language processing and reasoning, there has been sharp disagreement as to whether their abilities extend to more creative human abilities. A core example is the ability to interpret novel metaphors. Given the enormous and non-curated text corpora used to train LLMs, a serious obstacle to designing tests is the requirement of finding novel yet high-quality metaphors that are unlikely to have been included in the training data. Here we assessed the ability of GPT-4, a state-of-the-art large language model, to provide natural-language interpretations of novel literary metaphors drawn from Serbian poetry and translated into English. Despite exhibiting no signs of having been exposed to these metaphors previously, the AI system consistently produced detailed and incisive interpretations. Human judge – blind to the fact that an AI model was involved – rated metaphor interpretations generated by GPT-4 as superior to those provided by a group of college students. In interpreting reversed metaphors, GPT-4, as well as humans, exhibited signs of sensitivity to the Gricean cooperative principle. These results indicate that LLMs such as GPT-4 have acquired an emergent ability to interpret complex novel metaphors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL