Emergent communication and learning pressures in language models: a language evolution perspective

要約

言語モデルと人間は 2 種類の学習システムです。
共通点を見つけたり促進したりすることで、言語の獲得と進化についての理解に大きな進歩をもたらす可能性があります。
言語進化の理論の多くは、学習バイアスと学習圧力に大きく依存しています。
しかし、学習圧力には大きな違いがあるため、人間と機械の類似性が洞察を引き継ぎ、人間の参加者でテストする価値があるかどうかは疑問です。
ここでは、言語進化の観点から、マルチエージェント強化学習の下位分野である新興コミュニケーション文献をレビューします。
私たちは、新興のコミュニケーション文献が、自然言語に最初は存在しなかった言語現象を回復するためのモデルの設計と適応に優れていることを発見しました。
短い文献レビューに基づいて、コミュニケーションの成功、効率、学習可能性、その他の心理的/社会言語的要因など、創発的なコミュニケーションモデルに当初は存在しなかった人間のパターンを回復させる重要な圧力を特定します。
私たちは、これが言語獲得と言語進化研究のための言語モデルを設計する方法のインスピレーションとして役立つ可能性があると主張します。

要約(オリジナル)

Language models and humans are two types of learning systems. Finding or facilitating commonalities could enable major breakthroughs in our understanding of the acquisition and evolution of language. Many theories of language evolution rely heavily on learning biases and learning pressures. Yet due to substantial differences in learning pressures, it is questionable whether the similarity between humans and machines is sufficient for insights to carry over and to be worth testing with human participants. Here, we review the emergent communication literature, a subfield of multi-agent reinforcement learning, from a language evolution perspective. We find that the emergent communication literature excels at designing and adapting models to recover initially absent linguistic phenomena of natural languages. Based on a short literature review, we identify key pressures that have recovered initially absent human patterns in emergent communication models: communicative success, efficiency, learnability, and other psycho-/sociolinguistic factors. We argue that this may serve as inspiration for how to design language models for language acquisition and language evolution research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google