Technical Risks of (Lethal) Autonomous Weapons Systems

要約

（致命的な）自律兵器システムの自律性と適応性、（L）AWSが要するに、前例のない運用能力を約束しますが、国際安全保障における制御、説明責任、安定性の原則に挑戦する深いリスクも導入します。
このレポートは、（L）AWSの展開に関連する重要な技術的リスクの概要を示しており、予測不可能性、透明性の欠如、および運用上の信頼性の欠如を強調し、それが深刻な意図しない結果につながる可能性があります。
重要なテイクアウト：1。（L）AWSの提案された利点は、客観化と分類によってのみ達成できますが、系統的リスクの範囲は、アルゴリズムの分類の信頼性と予測可能性を制限します。
2。これらの体系的なリスクには、AIの意思決定のブラックボックスの性質、ハッキングに報いる可能性のある感受性、目標の誤ったジェネレーション、および人間のコントロールを逃れる緊急行動の可能性が含まれます。
3。
4.厳密にテストされたシステムでさえ、実際の条件では予測不可能かつ有害に振る舞う可能性があり、戦略的安定性と人道的原則の両方を危険にさらします。

要約(オリジナル)

The autonomy and adaptability of (Lethal) Autonomous Weapons Systems, (L)AWS in short, promise unprecedented operational capabilities, but they also introduce profound risks that challenge the principles of control, accountability, and stability in international security. This report outlines the key technological risks associated with (L)AWS deployment, emphasizing their unpredictability, lack of transparency, and operational unreliability, which can lead to severe unintended consequences. Key Takeaways: 1. Proposed advantages of (L)AWS can only be achieved through objectification and classification, but a range of systematic risks limit the reliability and predictability of classifying algorithms. 2. These systematic risks include the black-box nature of AI decision-making, susceptibility to reward hacking, goal misgeneralization and potential for emergent behaviors that escape human control. 3. (L)AWS could act in ways that are not just unexpected but also uncontrollable, undermining mission objectives and potentially escalating conflicts. 4. Even rigorously tested systems may behave unpredictably and harmfully in real-world conditions, jeopardizing both strategic stability and humanitarian principles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google