Learning and communication pressures in neural networks: Lessons from emergent communication

要約

大規模な言語モデルと人間の言語行動の共通点を見つけて促進することは、言語の獲得、処理、進化についての理解に大きな進歩をもたらす可能性があります。
ただし、人間と LLM の類似性に関する発見のほとんどは、人間のデータでのトレーニングに起因すると考えられます。
緊急のマシンツーマシン通信の分野は、人間の言語を使わずに孤立して通信する方法を学習するときに、神経エージェントが自然にさらされる圧力を発見するための理想的なテストベッドを提供します。
ここでは、理論的に動機付けられた帰納的バイアスを導入することで、ニューラルエージェントと人間の創発的な言語行動の間の不一致が解決された 3 つの事例をレビューします。
人間、大規模な言語モデル、および創発的なコミュニケーションエージェントを対比することにより、言語学習と創発に作用する重要なプレッシャー、つまりコミュニケーションの成功、生産努力、学習可能性、その他の心理的/社会言語的要因を特定します。
私たちは言語の進化と獲得の分野におけるそれらの意味と関連性について議論します。
エージェントの創発言語をより人間らしくするために必要な帰納的バイアスをマッピングすることにより、人間の認知とコミュニケーションの根底にある原理に光を当てるだけでなく、研究のための貴重な科学ツールとしてのこれらのモデルの使用そのものを知らせ、改善することもできます。
より広範な言語学習、処理、使用、表現。

要約(オリジナル)

Finding and facilitating commonalities between the linguistic behaviors of large language models and humans could lead to major breakthroughs in our understanding of the acquisition, processing, and evolution of language. However, most findings on human-LLM similarity can be attributed to training on human data. The field of emergent machine-to-machine communication provides an ideal testbed for discovering which pressures are neural agents naturally exposed to when learning to communicate in isolation, without any human language to start with. Here, we review three cases where mismatches between the emergent linguistic behavior of neural agents and humans were resolved thanks to introducing theoretically-motivated inductive biases. By contrasting humans, large language models, and emergent communication agents, we then identify key pressures at play for language learning and emergence: communicative success, production effort, learnability, and other psycho-/sociolinguistic factors. We discuss their implications and relevance to the field of language evolution and acquisition. By mapping out the necessary inductive biases that make agents’ emergent languages more human-like, we not only shed light on the underlying principles of human cognition and communication, but also inform and improve the very use of these models as valuable scientific tools for studying language learning, processing, use, and representation more broadly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google