From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs

要約

Lexico-Semantic Networksは、ノードとしての単語を表し、その意味関係はエッジとして表しています。
このようなネットワークは、エンコーダーベースのモデルまたは静的ベクトルからの埋め込みを使用して伝統的に構築されていますが、デコーダーのみの大手言語モデル（LLM）からの埋め込みは未定です。
エンコーダーモデルとは異なり、LLMは次のトークン予測目標でトレーニングされます。これは、現在のトークンの意味を直接エンコードしません。
このホワイトペーパーでは、LLMの入力埋め込みからさまざまなパラメータースケールを備えたレキシコセマンティックネットワークを構築し、グローバルおよびローカル構造の比較分析を実施します。
我々の結果は、これらのネットワークが高いクラスタリングと短いパス長を特徴とする小さな世界の特性を示すことを示しています。
さらに、LLMが大きいほど、より少ない世界の効果とより長いパスを備えたより複雑なネットワークが得られ、より豊かなセマンティック構造と関係を反映しています。
さらに、一般的な概念ペア、WordNetに由来する構造化された語彙関係、および定性的単語のためのクロスリンガルセマンティックネットワークの分析を通じて、アプローチをさらに検証します。

要約(オリジナル)

Lexico-semantic networks represent words as nodes and their semantic relatedness as edges. While such networks are traditionally constructed using embeddings from encoder-based models or static vectors, embeddings from decoder-only large language models (LLMs) remain underexplored. Unlike encoder models, LLMs are trained with a next-token prediction objective, which does not directly encode the meaning of the current token. In this paper, we construct lexico-semantic networks from the input embeddings of LLMs with varying parameter scales and conduct a comparative analysis of their global and local structures. Our results show that these networks exhibit small-world properties, characterized by high clustering and short path lengths. Moreover, larger LLMs yield more intricate networks with less small-world effects and longer paths, reflecting richer semantic structures and relations. We further validate our approach through analyses of common conceptual pairs, structured lexical relations derived from WordNet, and a cross-lingual semantic network for qualitative words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google