Evaluating Frontier Models for Dangerous Capabilities

要約

新しい AI システムによってもたらされるリスクを理解するには、AI システムで何ができて何ができないのかを理解する必要があります。
以前の研究に基づいて、新しい「危険な能力」評価プログラムを導入し、Gemini 1.0 モデルで試験運用します。
私たちの評価は次の 4 つの領域をカバーしています。(1) 説得と欺瞞。
(2) サイバーセキュリティ。
(3) 自己増殖。
(4) 自己推論。
私たちが評価したモデルには強力な危険な機能の証拠は見つかりませんでしたが、警告の兆候を早期に発見しました。
私たちの目標は、将来のモデルに備えて、危険能力評価の厳密な科学の進歩を支援することです。

要約(オリジナル)

To understand the risks posed by a new AI system, we must understand what it can and cannot do. Building on prior work, we introduce a programme of new ‘dangerous capability’ evaluations and pilot them on Gemini 1.0 models. Our evaluations cover four areas: (1) persuasion and deception; (2) cyber-security; (3) self-proliferation; and (4) self-reasoning. We do not find evidence of strong dangerous capabilities in the models we evaluated, but we flag early warning signs. Our goal is to help advance a rigorous science of dangerous capability evaluation, in preparation for future models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google