Exploring the Word Sense Disambiguation Capabilities of Large Language Models

要約

Word Sense Dismbiguation（WSD）は、長年にわたって多くの注目を集めてきた計算言語学の歴史的タスクです。
ただし、大規模な言語モデル（LLMS）の出現により、このタスク（その古典的な定義で）への関心は減少しました。
この研究では、WSDタスク上のさまざまなLLMのパフォーマンスを評価します。
以前のベンチマーク（XL-WSD）を拡張して、LLMに適した2つのサブタスクを再設計します。1）文の単語を考えると、LLMは正しい定義を生成する必要があります。
2）文の単語と事前定義された意味のセットを与えられた場合、LLMは正しいものを選択する必要があります。
拡張ベンチマークは、XL-WSDとBabelNetを使用して構築されています。
結果は、LLMSがゼロショット学習でうまく機能するが、現在の最先端の方法を上回ることができないことを示しています。
ただし、中程度のパラメーターを備えた微調整されたモデルは、最先端を含む他のすべてのモデルよりも優れています。

要約(オリジナル)

Word Sense Disambiguation (WSD) is a historical task in computational linguistics that has received much attention over the years. However, with the advent of Large Language Models (LLMs), interest in this task (in its classical definition) has decreased. In this study, we evaluate the performance of various LLMs on the WSD task. We extend a previous benchmark (XL-WSD) to re-design two subtasks suitable for LLM: 1) given a word in a sentence, the LLM must generate the correct definition; 2) given a word in a sentence and a set of predefined meanings, the LLM must select the correct one. The extended benchmark is built using the XL-WSD and BabelNet. The results indicate that LLMs perform well in zero-shot learning but cannot surpass current state-of-the-art methods. However, a fine-tuned model with a medium number of parameters outperforms all other models, including the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google