Searching for Structure: Investigating Emergent Communication with Large Language Models

要約

人間の言語は言語の学習と使用を繰り返すことによって構造化されて進化してきました。
これらのプロセスは、言語習得中に作用するバイアスを導入し、コミュニケーションの効率化に向けて言語システムを形成します。
この論文では、人工言語が大規模言語モデル (LLM) の暗黙的なバイアスに対して最適化された場合に同じことが起こるかどうかを調査します。
この目的のために、LLM が人工言語を学習して使用する古典的な参照ゲームをシミュレートします。
私たちの結果は、最初は構造化されていない全体的言語が、実際に、2 つの LLM エージェントが正常に通信できるようにするいくつかの構造的特性を持つように形作られていることを示しています。
人体実験の観察と同様に、世代間の伝達は言語の学習可能性を高めますが、同時に人間らしくない退化した語彙をもたらす可能性があります。
まとめると、この研究は実験結果を拡張し、LLM が言語進化のシミュレーションのツールとして使用できることを示し、この分野における将来の人間と機械の実験の可能性を開きます。

要約(オリジナル)

Human languages have evolved to be structured through repeated language learning and use. These processes introduce biases that operate during language acquisition and shape linguistic systems toward communicative efficiency. In this paper, we investigate whether the same happens if artificial languages are optimised for implicit biases of Large Language Models (LLMs). To this end, we simulate a classical referential game in which LLMs learn and use artificial languages. Our results show that initially unstructured holistic languages are indeed shaped to have some structural properties that allow two LLM agents to communicate successfully. Similar to observations in human experiments, generational transmission increases the learnability of languages, but can at the same time result in non-humanlike degenerate vocabularies. Taken together, this work extends experimental findings, shows that LLMs can be used as tools in simulations of language evolution, and opens possibilities for future human-machine experiments in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google