Linguistic Structure from a Bottleneck on Sequential Information Processing

要約

人間の言語は自然界における独特のコミュニケーション形式であり、その構造的な性質によって特徴付けられます。
最も基本的に、それは体系的であり、信号を個別に意味のある構成要素 (大まかに単語) に分解でき、それらが規則的な方法で結合されて文を形成できることを意味します。
さらに、これらの部分を組み合わせる方法には、一種の局所性が維持されます。通常、単語は互いに連結され、連続したフレーズを形成し、文の関連する部分が互いに近くに保たれます。
私たちは、言語のこれらの基本的な特性が、情報処理の制約の下での効率的なコミュニケーションのより広範な原則からどのように生じるかを理解するという課題に取り組みます。
今回我々は、自然言語のような系統性が、予測情報、つまり未来を予測するためにシーケンスの過去から抽出しなければならない情報量の尺度によって制約されるコードで生じることを示す。
シミュレーションでは、このようなコードがソース分布を近似的に因数分解し、結果の因子を体系的かつ局所的に表現できることを示します。
次に、一連の言語間コーパス研究で、人間の言語は音韻論、形態論、構文論、意味論のレベルで予測情報が少ない構造になっていることが示されました。
私たちの結果は、人間の言語が、表現する必要のある意味の統計的分布に関して、逐次的かつ離散的な形式の独立成分分析を実行していることを示唆しています。
それは人間の言語の統計的構造と代数的構造の間のつながりを確立し、人間の言語の構造は認知的制約の下でのコミュニケーションによって形成されるという考えを強化します。

要約(オリジナル)

Human language is a unique form of communication in the natural world, distinguished by its structured nature. Most fundamentally, it is systematic, meaning that signals can be broken down into component parts that are individually meaningful — roughly, words — which are combined in a regular way to form sentences. Furthermore, the way in which these parts are combined maintains a kind of locality: words are usually concatenated together, and they form contiguous phrases, keeping related parts of sentences close to each other. We address the challenge of understanding how these basic properties of language arise from broader principles of efficient communication under information processing constraints. Here we show that natural-language-like systematicity arises in codes that are constrained by predictive information, a measure of the amount of information that must be extracted from the past of a sequence in order to predict its future. In simulations, we show that such codes approximately factorize their source distributions, and then express the resulting factors systematically and locally. Next, in a series of cross-linguistic corpus studies, we show that human languages are structured to have low predictive information at the levels of phonology, morphology, syntax, and semantics. Our result suggests that human language performs a sequential, discrete form of Independent Components Analysis on the statistical distribution over meanings that need to be expressed. It establishes a link between the statistical and algebraic structure of human language, and reinforces the idea that the structure of human language is shaped by communication under cognitive constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google