Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition

要約

動詞は言語の骨格を形成し、文に構造と意味を与えます。
しかし、その複雑な意味上のニュアンスが長年の課題となっています。
語彙含意の概念を通じて動詞の関係を理解することは、文の意味を理解し、動詞のダイナミクスを把握するために重要です。
この研究では、WordNet と HyperLex という 2 つの語彙データベースからの動詞のペアに対する、異なる方法で考案されたプロンプト戦略とゼロ/フューショット設定を通じて、動詞間の語彙含意関係を認識する 8 つの大規模言語モデルの機能を調査します。
私たちの調査結果は、有効性の程度や条件が異なるにもかかわらず、これらのモデルが適度に良好なパフォーマンスで語彙含意認識タスクに取り組むことができることを明らかにしました。
また、数ショット プロンプトを利用すると、モデルのパフォーマンスを向上させることができます。
ただし、この課題を完全に解決することは、検討したすべての LLM にとって満たされていない課題として生じており、このテーマに関するさらなる研究開発の可能性が生じています。

要約(オリジナル)

Verbs form the backbone of language, providing the structure and meaning to sentences. Yet, their intricate semantic nuances pose a longstanding challenge. Understanding verb relations through the concept of lexical entailment is crucial for comprehending sentence meanings and grasping verb dynamics. This work investigates the capabilities of eight Large Language Models in recognizing lexical entailment relations among verbs through differently devised prompting strategies and zero-/few-shot settings over verb pairs from two lexical databases, namely WordNet and HyperLex. Our findings unveil that the models can tackle the lexical entailment recognition task with moderately good performance, although at varying degree of effectiveness and under different conditions. Also, utilizing few-shot prompting can enhance the models’ performance. However, perfectly solving the task arises as an unmet challenge for all examined LLMs, which raises an emergence for further research developments on this topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google