AI and the Problem of Knowledge Collapse

要約

人工知能は膨大な量のデータを処理し、新たな知見を生み出し、生産性を向上させる可能性を秘めているが、その普及は予期せぬ結果をもたらすかもしれない。我々は、AIがある種の知識へのアクセスコストを削減することによって、逆説的に一般社会の理解を害する可能性がある条件を特定する。大規模な言語モデルは膨大な量の多様なデータに基づいて学習されるが、当然ながら分布の「中心」に向かって出力を生成する。これは一般的には有用なことだが、再帰的なAIシステムに広く依存することは、「知識の崩壊」と定義するプロセスにつながる可能性があり、イノベーションと人間の理解と文化の豊かさに害を及ぼす可能性があると主張する。しかし、学習するデータを選択できないAIモデルとは異なり、人間は、価値があると認識すれば、戦略的に多様な形態の知識を探し求めることができる。このことを調査するために、我々は、学習者やイノベーターのコミュニティが、伝統的な方法を使用するか、割引AI支援プロセスに依存するかを選択する単純なモデルを提供し、知識の崩壊が発生する条件を特定する。我々のデフォルトモデルでは、AIが生成したコンテンツに20％のディスカウントがあると、ディスカウントがない場合に比べて、真実から2.3倍離れた一般的な信念が生成される。最後に、結果に基づき、このような結果に対抗するための更なる研究の方向性を検討する。

要約(オリジナル)

While artificial intelligence has the potential to process vast amounts of data, generate new insights, and unlock greater productivity, its widespread adoption may entail unforeseen consequences. We identify conditions under which AI, by reducing the cost of access to certain modes of knowledge, can paradoxically harm public understanding. While large language models are trained on vast amounts of diverse data, they naturally generate output towards the ‘center’ of the distribution. This is generally useful, but widespread reliance on recursive AI systems could lead to a process we define as ‘knowledge collapse’, and argue this could harm innovation and the richness of human understanding and culture. However, unlike AI models that cannot choose what data they are trained on, humans may strategically seek out diverse forms of knowledge if they perceive them to be worthwhile. To investigate this, we provide a simple model in which a community of learners or innovators choose to use traditional methods or to rely on a discounted AI-assisted process and identify conditions under which knowledge collapse occurs. In our default model, a 20% discount on AI-generated content generates public beliefs 2.3 times further from the truth than when there is no discount. Finally, based on the results, we consider further research directions to counteract such outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL