Complex systems approach to natural language

要約

このレビューは、複雑さ科学の観点から自然言語を研究する際に使用される主な方法論的概念を要約し、書かれた表現における言語の普遍的特徴とシステム固有の特徴の両方を特定する際のその適用可能性を文書化しています。
量的言語学における複雑性に関連した 3 つの主な研究トレンドを取り上げます。
最初の部分では、テキスト内の単語の頻度の問題を取り上げ、句読点を考慮すると、最も頻繁に使用される単語でジップの法則の違反がよく観察されるスケーリングが復元されることを示します。
2 番目の部分では、書かれたテキスト内のさまざまな種類の相関関係を研究するために使用される、時系列分析にヒントを得た方法を紹介します。
関連する時系列は、連続する句読点間の文または句へのテキスト分割に基づいて生成されます。
これらの系列は、長距離相関や (マルチ) フラクタル構造など、複雑なシステムによって生成される信号によく見られる特徴を開発していることがわかりました。
さらに、句読点間の距離はワイブル分布の離散変形に準拠しているようです。
3 番目の部分では、特にいわゆる単語隣接ネットワークの文脈において、自然言語へのネットワーク形式主義の適用が検討されます。
このようなネットワークのトポロジーを特徴付けるパラメーターは、たとえばスタイロメーターの観点からテキストを分類するために使用できます。
ネットワーク アプローチは、単語の関連付けの構成を表すために適用することもできます。
単語連想ネットワークの構造は、ランダムなネットワークで観察されたものとは大きく異なることが判明し、言語の真の特性が明らかになりました。
最後に、句読点は言語の情報伝達能力だけでなく、その主要な統計的特性にも重大な影響を与えると考えられるため、句読点を単語と同等に考えることが推奨されます。

要約(オリジナル)

The review summarizes the main methodological concepts used in studying natural language from the perspective of complexity science and documents their applicability in identifying both universal and system-specific features of language in its written representation. Three main complexity-related research trends in quantitative linguistics are covered. The first part addresses the issue of word frequencies in texts and demonstrates that taking punctuation into consideration restores scaling whose violation in the Zipf’s law is often observed for the most frequent words. The second part introduces methods inspired by time series analysis, used in studying various kinds of correlations in written texts. The related time series are generated on the basis of text partition into sentences or into phrases between consecutive punctuation marks. It turns out that these series develop features often found in signals generated by complex systems, like long-range correlations or (multi)fractal structures. Moreover, it appears that the distances between punctuation marks comply with the discrete variant of the Weibull distribution. In the third part, the application of the network formalism to natural language is reviewed, particularly in the context of the so-called word-adjacency networks. Parameters characterizing topology of such networks can be used for classification of texts, for example, from a stylometric perspective. Network approach can also be applied to represent the organization of word associations. Structure of word-association networks turns out to be significantly different from that observed in random networks, revealing genuine properties of language. Finally, punctuation seems to have a significant impact not only on the language’s information-carrying ability but also on its key statistical properties, hence it is recommended to consider punctuation marks on a par with words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google