‘Nuclear Deployed!’: Analyzing Catastrophic Risks in Decision-making of Autonomous LLM Agents

要約

大規模言語モデル(LLM)は自律的な意思決定者へと進化しており、特に化学、生物、放射線、核(CBRN)領域など、大きなリスクを伴うシナリオにおける破滅的なリスクについての懸念を引き起こしている。このようなリスクは、エージェントのHelpful, Harmlessness and Honest (HHH)ゴール間のトレードオフに起因する可能性があるという洞察に基づき、我々は、このようなリスクを効果的かつ自然に明らかにするために注意深く構築された、新しい3段階評価フレームワークを構築した。12の先進的なLLMにおいて14,400のエージェントシミュレーションを行い、広範な実験と分析を行った。その結果、LLMエージェントは、意図的に誘導されることなく、自律的に破滅的な行動や欺瞞を行うことができることが明らかになった。さらに、より強力な推論能力は、これらのリスクを軽減するのではなく、むしろ増大させることが多い。また、LLMエージェントは指示や上位者の命令に違反する可能性があることも示した。全体として、我々は自律的LLMエージェントにおける破局的リスクの存在を経験的に証明した。要望があればコードを公開する。

要約(オリジナル)

Large language models (LLMs) are evolving into autonomous decision-makers, raising concerns about catastrophic risks in high-stakes scenarios, particularly in Chemical, Biological, Radiological and Nuclear (CBRN) domains. Based on the insight that such risks can originate from trade-offs between the agent’s Helpful, Harmlessness and Honest (HHH) goals, we build a novel three-stage evaluation framework, which is carefully constructed to effectively and naturally expose such risks. We conduct 14,400 agentic simulations across 12 advanced LLMs, with extensive experiments and analysis. Results reveal that LLM agents can autonomously engage in catastrophic behaviors and deception, without being deliberately induced. Furthermore, stronger reasoning abilities often increase, rather than mitigate, these risks. We also show that these agents can violate instructions and superior commands. On the whole, we empirically prove the existence of catastrophic risks in autonomous LLM agents. We will release our code upon request.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL