Distributional Semantics, Holism, and the Instability of Meaning

要約

現在の言語モデルは、その中心に分布仮説をもつ、言語的意味に対するいわゆる分布意味論的アプローチに基づいて構築されています。
分布仮説には、単語の意味の全体的な概念が含まれます。つまり、単語の意味は、モデル内の他の単語との関係に依存します。
意味の全体論に対する標準的な反対意見は、不安定性に関する非難です。言語システム (たとえば、人間の話者) の意味特性に何らかの変化が生じると、多くの変化、あるいはシステム全体の完全な変化につながる可能性があります。
問題のシステムが相互に通信しようとしている場合、この種の不安定性により通信が不可能になると主張されています (Fodor and Lepore 1992、1996、1999)。
この記事では、不安定性の異議が意味の分布モデルに問題を引き起こすかどうかを検討します。
まず、これらのモデルが示す可能性のある不安定性の異なる形態を区別し、不安定性とコミュニケーションの関係を理解するのに関連するのはそのような形態の 1 つだけである、つまり微分不安定性と呼ばれるものであると主張します。
微分不安定性は、それらの点の絶対位置の変動ではなく、空間内の点間の相対距離の変動です。
私たちは、独自の 2 つのモデル、2 つの小説のテキストから構築されたおもちゃのモデル、および Wikipedia と SEP の記事を組み合わせた Word2vec アルゴリズムを使用して構築されたより洗練されたモデルを構築することによって、微分不安定性と絶対不安定性を区別します。
我々は、これらのモデルが構築されるコーパスのサイズが増大するにつれてどのように変化するかを示すことによって、不安定性の 2 つの形態を実証します。

要約(オリジナル)

Current language models are built on the so-called distributional semantic approach to linguistic meaning that has the distributional hypothesis at its core. The distributional hypothesis involves a holistic conception of word meaning: the meaning of a word depends upon its relations to other words in the model. A standard objection to meaning holism is the charge of instability: any change in the meaning properties of a linguistic system (a human speaker, for example) would lead to many changes or possibly a complete change in the entire system. When the systems in question are trying to communicate with each other, it has been argued that instability of this kind makes communication impossible (Fodor and Lepore 1992, 1996, 1999). In this article, we examine whether the instability objection poses a problem for distributional models of meaning. First, we distinguish between distinct forms of instability that these models could exhibit, and we argue that only one such form is relevant for understanding the relation between instability and communication: what we call differential instability. Differential instability is variation in the relative distances between points in a space, rather than variation in the absolute position of those points. We distinguish differential and absolute instability by constructing two of our own models, a toy model constructed from the text of two novels, and a more sophisticated model constructed using the Word2vec algorithm from a combination of Wikipedia and SEP articles. We demonstrate the two forms of instability by showing how these models change as the corpora they are constructed from increase in size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google