AI Systems of Concern

要約

高度な AI による将来の危険に関する懸念は、エージェントのような動作、戦略的認識、長期計画などの本質的な特性を持つと仮説が立てられているシステムに集中することがよくあります。
この特性のクラスターを「プロパティ X」とラベル付けします。
現在の AI システムのほとんどは、「プロパティ X」が低いです。
しかし、意図的な舵取りがなければ、現在の研究の方向性は、「プロパティ X」でも高い能力を備えた AI システムの出現に急速につながる可能性があります。
私たちは、「プロパティ X」の特性は本質的に危険であり、より優れた機能と組み合わせると、安全性と制御の保証が困難な AI システムが生まれると主張します。
考えられるAI研究の軌道に関する数人の学者の代替フレームワークを参考にして、提案されている高度なAIの利点のほとんどは、この特性を最小限に抑えるように設計されたシステムによって得られると主張します。
次に、リスクのある「プロパティ X」特性を持つシステムの開発を特定し、制限するための指標とガバナンス介入を提案します。

要約(オリジナル)

Concerns around future dangers from advanced AI often centre on systems hypothesised to have intrinsic characteristics such as agent-like behaviour, strategic awareness, and long-range planning. We label this cluster of characteristics as ‘Property X’. Most present AI systems are low in ‘Property X’; however, in the absence of deliberate steering, current research directions may rapidly lead to the emergence of highly capable AI systems that are also high in ‘Property X’. We argue that ‘Property X’ characteristics are intrinsically dangerous, and when combined with greater capabilities will result in AI systems for which safety and control is difficult to guarantee. Drawing on several scholars’ alternative frameworks for possible AI research trajectories, we argue that most of the proposed benefits of advanced AI can be obtained by systems designed to minimise this property. We then propose indicators and governance interventions to identify and limit the development of systems with risky ‘Property X’ characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google