An iterated learning model of language change that mixes supervised and unsupervised learning

要約

反復学習モデルは、言語が家庭教師から生徒に伝達され、その生徒自身が新しい生徒の家庭教師になるなど、言語変化のエージェントベースのモデルです。
安定していて、表現力豊かで、構成力のある言語は、言語伝達のボトルネックの結果として自然発生的に生まれます。
以前のモデルは、人工ニューラル ネットワーク デコーダを使用して信号から意味へのエージェントのマッピングを実装していましたが、意味から信号へのマッピングという関連するエンコーダを実装するには、非現実的で計算コストのかかる反転プロセスに依存していました。
ここでは、デコーダーとエンコーダーの両方がニューラル ネットワークであり、教師あり学習を通じて個別にトレーニングされ、オートエンコーダーの形式で教師なし学習を通じて一緒にトレーニングされる新しいモデルが提示されます。
これにより、obversion に伴う大幅な計算負荷が回避され、人間の発達中に観察されるような教師あり学習と教師なし学習の混合が導入されます。

要約(オリジナル)

The iterated learning model is an agent-based model of language change in which language is transmitted from a tutor to a pupil which itself becomes a tutor to a new pupil, and so on. Languages that are stable, expressive, and compositional arise spontaneously as a consequence of a language transmission bottleneck. Previous models have implemented an agent’s mapping from signals to meanings using an artificial neural network decoder, but have relied on an unrealistic and computationally expensive process of obversion to implement the associated encoder, mapping from meanings to signals. Here, a new model is presented in which both decoder and encoder are neural networks, trained separately through supervised learning, and trained together through unsupervised learning in the form of an autoencoder. This avoids the substantial computational burden entailed in obversion and introduces a mixture of supervised and unsupervised learning as observed during human development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google