Unsupervised Acquisition of Discrete Grammatical Categories

要約

この記事では、言語習得実験のために計算実験室環境を使用して実行された実験を紹介します。
2つのエージェントで構成されるマルチエージェントシステムを実装しています。成人言語モデルと、母言語の学習を目的とする娘言語モデルです。
重要なことに、娘のエージェントは母言語モデルの内部知識にアクセスできませんが、母エージェントが生成する言語の模範にのみアクセスできます。
これらの実験は、このシステムを使用して抽象的な文法知識を獲得する方法を示しています。
文法カテゴリに対応する入力データのパターンの統計分析が、個別の文法規則をどのように生成するかを示します。
これらのルールは、その後、娘言語モデルの文法的知識に追加されます。
この目的のために、階層的な凝集クラスター分析は、母言語モデルによって連続して生成された発話に適用されました。
この手順は、自然言語のために言語学者によって提案された文法カテゴリーに似た構造を取得するために使用できると主張されています。
したがって、非自明の文法的知識が習得されたことが確立されています。
さらに、母言語モデルによって生成されたトレーニングデータを使用して決定されたこの計算実験室環境のパラメーター構成は、同様に文書化されていないカテゴリの取得をもたらすテストセットを使用した2番目の実験で検証されます。

要約(オリジナル)

This article presents experiments performed using a computational laboratory environment for language acquisition experiments. It implements a multi-agent system consisting of two agents: an adult language model and a daughter language model that aims to learn the mother language. Crucially, the daughter agent does not have access to the internal knowledge of the mother language model but only to the language exemplars the mother agent generates. These experiments illustrate how this system can be used to acquire abstract grammatical knowledge. We demonstrate how statistical analyses of patterns in the input data corresponding to grammatical categories yield discrete grammatical rules. These rules are subsequently added to the grammatical knowledge of the daughter language model. To this end, hierarchical agglomerative cluster analysis was applied to the utterances consecutively generated by the mother language model. It is argued that this procedure can be used to acquire structures resembling grammatical categories proposed by linguists for natural languages. Thus, it is established that non-trivial grammatical knowledge has been acquired. Moreover, the parameter configuration of this computational laboratory environment determined using training data generated by the mother language model is validated in a second experiment with a test set similarly resulting in the acquisition of non-trivial categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google