LLM as a Broken Telephone: Iterative Generation Distorts Information

要約

大規模な言語モデルがオンラインコンテンツに対してますます責任があるため、独自の出力を繰り返し処理することの影響について懸念が生じます。
チェーンされた人間のコミュニケーションにおける「壊れた電話」効果に触発されたこの研究では、LLMが同様に反復生成を通じて情報を歪めているかどうかを調査しています。
翻訳ベースの実験を通じて、言語の選択とチェーンの複雑さの影響を受けて、歪みが時間とともに蓄積することがわかります。
劣化は避けられませんが、戦略的なプロンプトテクニックを通じて軽減できます。
これらの調査結果は、AIを介した情報伝播の長期的な影響に関する議論に貢献し、反復ワークフローにおけるLLM生成コンテンツの信頼性に関する重要な質問を提起します。

要約(オリジナル)

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the ‘broken telephone’ effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google