要約
人類は、あらゆる認知領域と活動の人間の専門家を大幅に上回るAIシステムをすぐに開発するためにコースにあるようです。
デフォルトの軌跡は、人間の絶滅を含む大惨事の可能性が高いと考えています。
リスクは、強力なAIシステムを制御できないこと、悪意のある不正行為者によるAIの誤用、大国間の戦争、権威主義的ロックインから生じます。
この研究アジェンダには、AI開発の戦略的景観を説明し、重要なガバナンス研究の質問をカタログ化するという2つの目的があります。
これらの質問は、回答した場合、壊滅的なリスクをうまく削減する方法に関する重要な洞察を提供します。
高度なAI開発に対する地政学的な反応のための4つの高レベルシナリオを説明し、それぞれに最も関連する研究の質問をカタログ化します。
私たちの好まれたシナリオでは、国際的に危険なAIの開発と展開（オフスイッチと呼ばれる）を制限するために必要な技術的、法的、および制度的インフラストラクチャを構築することが含まれます。
私たちが説明する2番目のシナリオは、米国政府が高度なAIシステムを開発し、グローバルなAI開発に対する一方的な制御を確立するために競争するAIの米国国家プロジェクトです。
また、2つの追加のシナリオについて説明します。今日のシナリオと同様のライトタッチの世界と、国が妨害と抑止力を使用してAI開発を遅らせる妨害状況の脅威です。
私たちの見解では、オフスイッチと停止シナリオとは別に、これらの軌跡はすべて、壊滅的な害の容認できないリスクを負っているようです。
米国の国家安全保障コミュニティとAIガバナンスエコシステムから緊急の行動が必要であり、主要な研究の質問に答え、危険なAI活動を停止する能力を構築し、国際的なAI協定に備えます。
要約(オリジナル)
Humanity appears to be on course to soon develop AI systems that substantially outperform human experts in all cognitive domains and activities. We believe the default trajectory has a high likelihood of catastrophe, including human extinction. Risks come from failure to control powerful AI systems, misuse of AI by malicious rogue actors, war between great powers, and authoritarian lock-in. This research agenda has two aims: to describe the strategic landscape of AI development and to catalog important governance research questions. These questions, if answered, would provide important insight on how to successfully reduce catastrophic risks. We describe four high-level scenarios for the geopolitical response to advanced AI development, cataloging the research questions most relevant to each. Our favored scenario involves building the technical, legal, and institutional infrastructure required to internationally restrict dangerous AI development and deployment (which we refer to as an Off Switch), which leads into an internationally coordinated Halt on frontier AI activities at some point in the future. The second scenario we describe is a US National Project for AI, in which the US Government races to develop advanced AI systems and establish unilateral control over global AI development. We also describe two additional scenarios: a Light-Touch world similar to that of today and a Threat of Sabotage situation where countries use sabotage and deterrence to slow AI development. In our view, apart from the Off Switch and Halt scenario, all of these trajectories appear to carry an unacceptable risk of catastrophic harm. Urgent action is needed from the US National Security community and AI governance ecosystem to answer key research questions, build the capability to halt dangerous AI activities, and prepare for international AI agreements.
arxiv情報
| 著者 | Peter Barnett,Aaron Scher |
| 発行日 | 2025-05-07 17:35:36+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google