Model evaluation for extreme risks

要約

汎用 AI システムを構築する現在のアプローチでは、有益な機能と有害な機能の両方を備えたシステムが生成される傾向があります。
AI開発がさらに進むと、攻撃的なサイバー能力や強力な操作スキルなど、極度のリスクをもたらす能力が誕生する可能性があります。
極度のリスクに対処するためにモデル評価が重要である理由を説明します。
開発者は、危険な機能 (「危険な機能の評価」を通じて) と、モデルがその機能を適用して害を及ぼす傾向を (「調整評価」を通じて) 識別できなければなりません。
これらの評価は、政策立案者やその他の利害関係者に常に情報を提供し、モデルのトレーニング、展開、セキュリティについて責任ある決定を下すために重要になります。

要約(オリジナル)

Current approaches to building general-purpose AI systems tend to produce systems with both beneficial and harmful capabilities. Further progress in AI development could lead to capabilities that pose extreme risks, such as offensive cyber capabilities or strong manipulation skills. We explain why model evaluation is critical for addressing extreme risks. Developers must be able to identify dangerous capabilities (through ‘dangerous capability evaluations’) and the propensity of models to apply their capabilities for harm (through ‘alignment evaluations’). These evaluations will become critical for keeping policymakers and other stakeholders informed, and for making responsible decisions about model training, deployment, and security.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google