An iterated learning model of language change that mixes supervised and unsupervised learning

要約

反復学習モデルは、世代から世代への言語の伝達をシミュレートするエージェント モデルです。
これは、言語が伝達によって課される圧力にどのように適応するかを研究するために使用されます。
各反復で、言語家庭教師は、素朴な生徒に、ランダムな意味とそれを伝える信号を組み合わせた限られたトレーニング セットの発話を与えます。
次に、その生徒は、次の反復で新しい素朴な生徒の家庭教師になります。
伝達のボトルネックにより、講師は経験したトレーニング セットを超えて一般化する必要があります。
学習と一般化のサイクルを繰り返すことで、表現力が豊かで、構成力があり、安定した言語が得られます。
これまで、反復学習モデルのエージェントは、人工ニューラル ネットワークを使用して信号を意味にマッピングしていましたが、意味を信号にマッピングするには、非現実的で計算コストのかかる反転プロセスに依存していました。
ここで、両方のマップはニューラル ネットワークであり、教師あり学習を通じて個別にトレーニングされ、オートエンコーダーの形式で教師なし学習を通じて一緒にトレーニングされます。
これにより、オブバージョンに伴う計算負荷が回避され、子供の言語学習中に観察されるような教師あり学習と教師なし学習の混合が導入されます。
新しいモデルは、意味信号空間の次元と効果的なボトルネックのサイズとの間の線形関係を実証し、潜在的な発話に対する内省が言語の学習と進化において重要であることを示唆しています。

要約(オリジナル)

The iterated learning model is an agent model which simulates the transmission of of language from generation to generation. It is used to study how the language adapts to pressures imposed by transmission. In each iteration, a language tutor exposes a na\’ive pupil to a limited training set of utterances, each pairing a random meaning with the signal that conveys it. Then the pupil becomes a tutor for a new na\’ive pupil in the next iteration. The transmission bottleneck ensures that tutors must generalize beyond the training set that they experienced. Repeated cycles of learning and generalization can result in a language that is expressive, compositional and stable. Previously, the agents in the iterated learning model mapped signals to meanings using an artificial neural network but relied on an unrealistic and computationally expensive process of obversion to map meanings to signals. Here, both maps are neural networks, trained separately through supervised learning and together through unsupervised learning in the form of an autoencoder. This avoids the computational burden entailed in obversion and introduces a mixture of supervised and unsupervised learning as observed during language learning in children. The new model demonstrates a linear relationship between the dimensionality of meaning-signal space and effective bottleneck size and suggests that internal reflection on potential utterances is important in language learning and evolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google