Taking control: Policies to address extinction risks from AI

要約

この文書では、高度な人工知能 (AI) による絶滅のリスクを軽減するための政策提言を提供します。
まず、AI による絶滅リスクに関する背景情報を簡単に説明します。
第二に、AI企業による自主的な取り組みは不適切かつ不十分な対応となると主張する。
第三に、高度な AI の脅威に有意義に対処する 3 つの政策提案について説明します。(1) 高度な AI の民主的監視を可能にする多国籍 AGI コンソーシアムの設立 (MAGIC)、(2) 使用される計算能力の量に対する世界的な上限の実施
AI システムをトレーニングすること (グローバル コンピューティング キャップ)、(3) リスクが許容レベル以下に保たれることを保証するための肯定的な安全性評価の要求 (ゲートクリティカル実験)。
MAGIC は、高度な AI によるリスクを軽減し、AI の利点を安全に活用するための研究を実施する責任を負う、安全で安全性を重視した国際的に統治された機関となります。
MAGIC はまた、AI 関連の緊急事態が発生した場合に、AI 開発を迅速に停止したり、モデルの展開を撤回したりするための緊急対応インフラストラクチャ (キル スイッチ) も維持します。
世界的なコンピューティング上限により、危険な AI システムに向けた企業競争に終止符が打たれ、同時に AI イノベーションの大部分が妨げられることなく継続できるようになります。
重要な実験をゲーティングすることで、強力な AI システムを開発している企業は、これらのモデルが絶滅のリスクを許容可能なしきい値以下に抑えているという肯定的な証拠を提示することが確実に求められます。
これらの推奨事項を説明した後、国際社会がこれらの提案を実施し、高度な AI を巡る国際調整の基礎を築くために取ることができる中間段階を提案します。

要約(オリジナル)

This paper provides policy recommendations to reduce extinction risks from advanced artificial intelligence (AI). First, we briefly provide background information about extinction risks from AI. Second, we argue that voluntary commitments from AI companies would be an inappropriate and insufficient response. Third, we describe three policy proposals that would meaningfully address the threats from advanced AI: (1) establishing a Multinational AGI Consortium to enable democratic oversight of advanced AI (MAGIC), (2) implementing a global cap on the amount of computing power used to train an AI system (global compute cap), and (3) requiring affirmative safety evaluations to ensure that risks are kept below acceptable levels (gating critical experiments). MAGIC would be a secure, safety-focused, internationally-governed institution responsible for reducing risks from advanced AI and performing research to safely harness the benefits of AI. MAGIC would also maintain emergency response infrastructure (kill switch) to swiftly halt AI development or withdraw model deployment in the event of an AI-related emergency. The global compute cap would end the corporate race toward dangerous AI systems while enabling the vast majority of AI innovation to continue unimpeded. Gating critical experiments would ensure that companies developing powerful AI systems are required to present affirmative evidence that these models keep extinction risks below an acceptable threshold. After describing these recommendations, we propose intermediate steps that the international community could take to implement these proposals and lay the groundwork for international coordination around advanced AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google