The Lock-in Hypothesis: Stagnation by Algorithm

要約

大規模な言語モデル（LLMS）のトレーニングと展開は、人間のユーザーとのフィードバックループを作成します。モデルは、データから人間の信念を学び、生成されたコンテンツでこれらの信念を強化し、強化された信念を再吸収し、ユーザーに何度も戻します。
この動的はエコーチャンバーに似ています。
このフィードバックループは、ユーザーの既存の価値と信念を定着させ、多様性の喪失と潜在的に誤った信念のロックインにつながると仮定します。
この仮説を正式化し、エージェントベースのLLMシミュレーションと実際のGPT使用データで経験的にテストします。
分析により、新しいGPTイテレーションのリリース後、突然が多様性の持続的な低下が明らかになります。
https://thelockinhypothesis.comで利用可能なコードとデータ

要約(オリジナル)

The training and deployment of large language models (LLMs) create a feedback loop with human users: models learn human beliefs from data, reinforce these beliefs with generated content, reabsorb the reinforced beliefs, and feed them back to users again and again. This dynamic resembles an echo chamber. We hypothesize that this feedback loop entrenches the existing values and beliefs of users, leading to a loss of diversity and potentially the lock-in of false beliefs. We formalize this hypothesis and test it empirically with agent-based LLM simulations and real-world GPT usage data. Analysis reveals sudden but sustained drops in diversity after the release of new GPT iterations, consistent with the hypothesized human-AI feedback loop. Code and data available at https://thelockinhypothesis.com

arxiv情報

提供元, 利用サービス

arxiv.jp, Google