The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI

要約

人工知能（AI）の最近の進歩は、人類への長期的な影響について多様な一連の予測をもたらしました。
中心的な焦点は、変革的AI（TAI）の潜在的な出現であり、最終的にすべての経済的に価値のあるタスクで人間を上回り、労働を完全に自動化することができます。
議論されたシナリオは、悪質なTAIが（「AI DOOM」）を引き継いだ後の人間の絶滅から、前例のない経済成長と豊富さ（「後のスカルシティ」）にまで及びます。
ただし、これらのシナリオの確率と意味は非常に不確実なままです。
ここでは、さまざまなシナリオを編成し、総合的な福祉の観点から、関連する実存的リスクと経済的結果を評価します。
私たちの分析は、低確率の壊滅的な結果でさえ、AIの安全性と調整研究への多額の投資を正当化することを示しています。
最適化の代表的な個人は、絶滅のリスクを軽減するためにかなりのリソースを合理的に割り当てることがわかります。
場合によっては、彼女はTAIをまったく開発しないことを好まないでしょう。
この結果は、AIの安全性と整合研究における現在の世界的な努力は、TAIによってもたらされる実存的リスクの規模と緊急性に比べて非常に不十分であることを強調しています。
したがって、私たちの調査結果は、TAIの潜在的な経済的利益と不可逆的な害の防止のバランスをとるために、より強力な保護手段の必要性を強調しています。
これらのリスクに対処することは、持続可能な人間の繁栄に向けて技術の進歩を導くために重要です。

要約(オリジナル)

Recent advances in artificial intelligence (AI) have led to a diverse set of predictions about its long-term impact on humanity. A central focus is the potential emergence of transformative AI (TAI), eventually capable of outperforming humans in all economically valuable tasks and fully automating labor. Discussed scenarios range from human extinction after a misaligned TAI takes over (‘AI doom’) to unprecedented economic growth and abundance (‘post-scarcity’). However, the probabilities and implications of these scenarios remain highly uncertain. Here, we organize the various scenarios and evaluate their associated existential risks and economic outcomes in terms of aggregate welfare. Our analysis shows that even low-probability catastrophic outcomes justify large investments in AI safety and alignment research. We find that the optimizing representative individual would rationally allocate substantial resources to mitigate extinction risk; in some cases, she would prefer not to develop TAI at all. This result highlights that current global efforts in AI safety and alignment research are vastly insufficient relative to the scale and urgency of existential risks posed by TAI. Our findings therefore underscore the need for stronger safeguards to balance the potential economic benefits of TAI with the prevention of irreversible harm. Addressing these risks is crucial for steering technological progress toward sustainable human prosperity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google