Robustness of the Random Language Model

要約

ランダム言語モデル (De Giuli 2019) は、人間言語とコンピューター言語の構文を定量化する、確率的文脈自由文法の集合体です。
このモデルは、潜在的な言語の広大な空間における一種のアニーリングとしての第一言語学習の単純な図を示唆しています。
最も単純な定式化では、文法構文への単一の連続的な移行を意味し、その時点で、潜在的な単語とカテゴリ間の対称性が自発的に破られます。
ここで、この図は、元のモデルの拡張に対するロバスト性、および最初に考慮されたものとは異なるパラメータ空間を通る軌跡を考慮することによって精査されます。
ここでは、(i) シナリオは、現実世界での学習の避けられない要素である明示的な対称性の破れに対して堅牢であることが示されています。
(ii) 文法構文への移行は、表面 (目に見える) 特性を変化させながら、深い (隠れた) 構造を固定することによって実現できます。
また、この遷移は理想的な極限では急激な熱力学的遷移になるとも主張されています。
さらに、構文ネットワークのクラスタリング係数に関する人間のデータとの比較は、観察された遷移が生後 24 か月の子供が通常経験する遷移と同等であることを示唆しています。
結果は、言語学における第一言語習得の理論と機械学習における最近の成功に照らして議論されます。

要約(オリジナル)

The Random Language Model (De Giuli 2019) is an ensemble of stochastic context-free grammars, quantifying the syntax of human and computer languages. The model suggests a simple picture of first language learning as a type of annealing in the vast space of potential languages. In its simplest formulation, it implies a single continuous transition to grammatical syntax, at which the symmetry among potential words and categories is spontaneously broken. Here this picture is scrutinized by considering its robustness against extensions of the original model, and trajectories through parameter space different from those originally considered. It is shown here that (i) the scenario is robust to explicit symmetry breaking, an inevitable component of learning in the real world; and (ii) the transition to grammatical syntax can be encountered by fixing the deep (hidden) structure while varying the surface (observable) properties. It is also argued that the transition becomes a sharp thermodynamic transition in an idealized limit. Moreover, comparison with human data on the clustering coefficient of syntax networks suggests that the observed transition is equivalent to that normally experienced by children at age 24 months. The results are discussed in light of theory of first-language acquisition in linguistics, and recent successes in machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google