Word Definitions from Large Language Models

要約

歴史的に辞書の定義は単語の意味を決定する役割を果たしていますが、単語の埋め込みや ChatGPT のような生成モデルなど、NLP の最近の進歩によってこの優位性が脅かされています。
我々は、古典的な辞書の単語定義とこれらの新しい計算成果物との間の一致度に関する探索的研究を紹介します。
具体的には、3 つの公開辞書の定義と ChatGPT の亜種から生成された定義を比較します。
我々は、(i) さまざまな従来の辞書からの定義は、モデルで生成された定義よりも表面形状の類似性が高いこと、(ii) ChatGPT 定義は従来の辞書に匹敵する非常に正確であること、および (iii) ChatGPT ベースの埋め込み定義はその定義を保持していることを示します。
低頻度の単語でも精度が高く、GloVE や FastText の単語埋め込みよりもはるかに優れています。

要約(オリジナル)

Dictionary definitions are historically the arbitrator of what words mean, but this primacy has come under threat by recent progress in NLP, including word embeddings and generative models like ChatGPT. We present an exploratory study of the degree of alignment between word definitions from classical dictionaries and these newer computational artifacts. Specifically, we compare definitions from three published dictionaries to those generated from variants of ChatGPT. We show that (i) definitions from different traditional dictionaries exhibit more surface form similarity than do model-generated definitions, (ii) that the ChatGPT definitions are highly accurate, comparable to traditional dictionaries, and (iii) ChatGPT-based embedding definitions retain their accuracy even on low frequency words, much better than GloVE and FastText word embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google