Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models

要約

タイトル：文脈化言語モデルを通じて曖昧な単語表現の幾何学を明らかにする

要約：
– 単語の重要な問題である多義性について、私たちは新しい洞察を提供している。
– 私たちの研究では、文脈言語モデルの最近の進歩を活用したシミュレーションにより、多義性について心理学的理解を提供している。
– これらのモデルは、単語の意味に対して何らかの根拠に基づいた理解を持っていません。単に、他の単語によって提供された周囲の文脈に基づいて単語を予測することを学びます。
– しかし、私たちの分析は、彼らの表現が明確、同音異義語、および多義語の間の精密な意味的区別を捉え、語彙学的分類と心理学的理論に沿っていることを示している。
– これらの結果は、現代の心理的概念化の多義性の量的な支持を提供し、異なる時間尺度で文脈情報が単語の意味を形成する方法の理解に新しい課題を提起する。

要約(オリジナル)

Lexical ambiguity presents a profound and enduring challenge to the language sciences. Researchers for decades have grappled with the problem of how language users learn, represent and process words with more than one meaning. Our work offers new insight into psychological understanding of lexical ambiguity through a series of simulations that capitalise on recent advances in contextual language models. These models have no grounded understanding of the meanings of words at all; they simply learn to predict words based on the surrounding context provided by other words. Yet, our analyses show that their representations capture fine-grained meaningful distinctions between unambiguous, homonymous, and polysemous words that align with lexicographic classifications and psychological theorising. These findings provide quantitative support for modern psychological conceptualisations of lexical ambiguity and raise new challenges for understanding of the way that contextual information shapes the meanings of words across different timescales.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI