Large Language Model Displays Emergent Ability to Interpret Novel Literary Metaphors

要約

大規模言語モデル (LLM) のパフォーマンスにおける最近の進歩により、十分なトレーニングがあれば、そのような一般的な形式の人工知能 (AI) で高度な人間の能力が発現するかどうかについての議論が巻き起こっています。
LLM は、自然言語処理や推論を含む幅広いタスクにおいて優れたパフォーマンスを発揮しますが、その能力が人間のより創造的な能力にまで及ぶかどうかについては、大きな意見の相違があります。
その中心的な例は、新しい比喩を解釈する能力です。
LLM のトレーニングに使用される膨大で厳選されていないテキスト コーパスを考慮すると、テスト設計の重大な障害は、トレーニング データには含まれていない可能性が高い、新規でありながら高品質のメタファーを見つける必要があることです。
ここで我々は、セルビア語の詩から抽出され英語に翻訳された新しい文学的比喩の自然言語解釈を提供する、最先端の大規模言語モデルである GPT4 の能力を評価しました。
以前にこれらの比喩にさらされた兆候は見られなかったにもかかわらず、AI システムは一貫して詳細かつ鋭い解釈を生成しました。
AI モデルが関与しているという事実を知らない人間の裁判官は、GPT4 によって生成されたメタファー解釈が大学生のグループによって提供されたメタファー解釈よりも優れていると評価しました。
逆の比喩を解釈する際、GPT4 は人間と同様に、グリセアンの協力原理に敏感な兆候を示しました。
さらに、いくつかの新しい英語の詩について、GPT4 は人間の文学評論家によって優れているまたは優れていると評価される解釈を生成しました。
これらの結果は、GPT4 などの LLM が、小説の詩に埋め込まれたものを含む複雑な比喩を解釈する新たな能力を獲得したことを示しています。

要約(オリジナル)

Recent advances in the performance of large language models (LLMs) have sparked debate over whether, given sufficient training, high-level human abilities emerge in such generic forms of artificial intelligence (AI). Despite the exceptional performance of LLMs on a wide range of tasks involving natural language processing and reasoning, there has been sharp disagreement as to whether their abilities extend to more creative human abilities. A core example is the ability to interpret novel metaphors. Given the enormous and non curated text corpora used to train LLMs, a serious obstacle to designing tests is the requirement of finding novel yet high quality metaphors that are unlikely to have been included in the training data. Here we assessed the ability of GPT4, a state of the art large language model, to provide natural-language interpretations of novel literary metaphors drawn from Serbian poetry and translated into English. Despite exhibiting no signs of having been exposed to these metaphors previously, the AI system consistently produced detailed and incisive interpretations. Human judges, blind to the fact that an AI model was involved, rated metaphor interpretations generated by GPT4 as superior to those provided by a group of college students. In interpreting reversed metaphors, GPT4, as well as humans, exhibited signs of sensitivity to the Gricean cooperative principle. In addition, for several novel English poems GPT4 produced interpretations that were rated as excellent or good by a human literary critic. These results indicate that LLMs such as GPT4 have acquired an emergent ability to interpret complex metaphors, including those embedded in novel poems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google