Word Embeddings Revisited: Do LLMs Offer Something New?

要約

意味のある単語埋め込みを学習することは、ロバストな言語モデルを学習するための鍵となる。近年の大規模言語モデル（Large Language Models: LLM）の台頭により、多くの新しい単語／文／文書埋め込みモデルが提供されている。LLMは様々な自然言語処理タスクにおいて目覚ましい進歩を示しているが、その性能向上が単に規模の大きさによるものなのか、それともLLMが生成する埋め込みがSBERTやUSEのような古典的なエンコーディングモデルと大きく異なるのかは未だ不明である。本論文では、古典的な単語埋め込み技術とLLMベースの単語埋め込みを潜在ベクトル意味論の観点から比較することで、この問題を系統的に調査する。その結果、LLMは古典的なモデルよりも意味的に関連する単語をより密にクラスタリングする傾向があることが示された。LLMはまた、Bigger Analogy Test Set (BATS)において、古典的な手法よりも高い平均精度をもたらす。最後に、いくつかのLLMは、比較的軽い古典的モデルであるSBERTに似た単語埋め込みを生成する傾向がある。

要約(オリジナル)

Learning meaningful word embeddings is key to training a robust language model. The recent rise of Large Language Models (LLMs) has provided us with many new word/sentence/document embedding models. Although LLMs have shown remarkable advancement in various NLP tasks, it is still unclear whether the performance improvement is merely because of scale or whether underlying embeddings they produce significantly differ from classical encoding models like Sentence-BERT (SBERT) or Universal Sentence Encoder (USE). This paper systematically investigates this issue by comparing classical word embedding techniques against LLM-based word embeddings in terms of their latent vector semantics. Our results show that LLMs tend to cluster semantically related words more tightly than classical models. LLMs also yield higher average accuracy on the Bigger Analogy Test Set (BATS) over classical methods. Finally, some LLMs tend to produce word embeddings similar to SBERT, a relatively lighter classical model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL