When LLMs Play the Telephone Game: Cumulative Changes and Attractors in Iterated Cultural Transmissions

要約

大規模な言語モデル（LLM）が相互に作用し、オンラインで生成されるテキスト量が増加するにつれ、情報がLLMから次のLLMへと受け渡される際にどのように変換されるかをよりよく理解することが重要になる。重要な研究は個々のLLMの挙動を調査してきたが、既存の研究では、LLMの相互作用の繰り返しから生じる集団的な挙動や情報の歪みがほとんど見落とされてきた。単一の出力レベルでは無視できる小さなバイアスが、反復的な相互作用では増幅される危険性があり、コンテンツがアトラクター状態へと進化する可能性がある。一連の電話ゲーム実験において、我々は人間の文化進化に関する文献から借用した伝達連鎖デザインを適用した：LLMエージェントは、前のエージェントから次のエージェントへ繰り返しテキストを受信、作成、送信する。LLMエージェントは、前のエージェントから次のエージェントへテキストを受信し、生成し、送信する。送信チェーン間のテキストの毒性、陽性度、難易度、長さの変化を追跡することにより、偏りとアトラクターの存在を明らかにし、最初のテキスト、指示、言語モデル、モデルのサイズへの依存性を研究する。例えば、よりオープンエンドな指示は、より制約の多いタスクと比較して、より強いアトラクター効果をもたらすことがわかった。また、テキストの特性によって、誘引効果に対する感度が異なり、長さよりも毒性が強い誘引効果をもたらすこともわかった。これらの発見は、多段階の伝達ダイナミクスを考慮することの重要性を浮き彫りにし、LLMカルチュラルダイナミクスのより包括的な理解への第一歩を示すものである。

要約(オリジナル)

As large language models (LLMs) start interacting with each other and generating an increasing amount of text online, it becomes crucial to better understand how information is transformed as it passes from one LLM to the next. While significant research has examined individual LLM behaviors, existing studies have largely overlooked the collective behaviors and information distortions arising from iterated LLM interactions. Small biases, negligible at the single output level, risk being amplified in iterated interactions, potentially leading the content to evolve towards attractor states. In a series of telephone game experiments, we apply a transmission chain design borrowed from the human cultural evolution literature: LLM agents iteratively receive, produce, and transmit texts from the previous to the next agent in the chain. By tracking the evolution of text toxicity, positivity, difficulty, and length across transmission chains, we uncover the existence of biases and attractors, and study their dependence on the initial text, the instructions, language model, and model size. For instance, we find that more open-ended instructions lead to stronger attraction effects compared to more constrained tasks. We also find that different text properties display different sensitivity to attraction effects, with toxicity leading to stronger attractors than length. These findings highlight the importance of accounting for multi-step transmission dynamics and represent a first step towards a more comprehensive understanding of LLM cultural dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL