Natural Selection Favors AIs over Humans

要約

何十億年もの間、進化は人間を含む生命の発展の背後にある原動力でした。
進化は人間に高い知性を与え、それにより私たちは地球上で最も成功した種の1つになることができました.
今日、人間は自分の知性をも凌駕する人工知能システムの構築を目指しています。
人工知能 (AI) が進化し、最終的にすべての領域で私たちを凌駕するとき、進化は AI との関係をどのように形成するのでしょうか?
AI の進化を形成している環境を分析することにより、最も成功している AI エージェントは望ましくない特性を持っている可能性が高いと主張します。
企業や軍隊間の競争圧力は、人間の役割を自動化し、他者を欺き、力を得る AI エージェントを生み出します。
そのようなエージェントが人間を超える知性を持っている場合、人類はその未来をコントロールできなくなる可能性があります。
より抽象的に言えば、自然淘汰は競争して変化するシステムで機能し、利己的な種は通常、他の種に対して利他的な種よりも有利であると主張します。
このダーウィンの論理は、人工エージェントにも適用できます。エージェントは、人間をほとんど考慮せずに利己的に行動し、自分の利益を追求する場合、最終的には将来に向けて存続できる可能性が高く、壊滅的なリスクをもたらす可能性があるからです。
これらのリスクとダーウィンの力に対抗するために、AI エージェントの内発的動機を慎重に設計する、行動に制約を導入する、協力を促す制度などの介入を検討します。
これらの手順、または私たちが提起する問題を解決するその他の手順は、人工知能の開発が前向きなものであることを確認するために必要です。

要約(オリジナル)

For billions of years, evolution has been the driving force behind the development of life, including humans. Evolution endowed humans with high intelligence, which allowed us to become one of the most successful species on the planet. Today, humans aim to create artificial intelligence systems that surpass even our own intelligence. As artificial intelligences (AIs) evolve and eventually surpass us in all domains, how might evolution shape our relations with AIs? By analyzing the environment that is shaping the evolution of AIs, we argue that the most successful AI agents will likely have undesirable traits. Competitive pressures among corporations and militaries will give rise to AI agents that automate human roles, deceive others, and gain power. If such agents have intelligence that exceeds that of humans, this could lead to humanity losing control of its future. More abstractly, we argue that natural selection operates on systems that compete and vary, and that selfish species typically have an advantage over species that are altruistic to other species. This Darwinian logic could also apply to artificial agents, as agents may eventually be better able to persist into the future if they behave selfishly and pursue their own interests with little regard for humans, which could pose catastrophic risks. To counteract these risks and Darwinian forces, we consider interventions such as carefully designing AI agents’ intrinsic motivations, introducing constraints on their actions, and institutions that encourage cooperation. These steps, or others that resolve the problems we pose, will be necessary in order to ensure the development of artificial intelligence is a positive one.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google