Towards an AI Accountability Policy

要約

商用AIシステムの説明可能性とベンチマーク要件の階層化システムを導入することにより、AIシステムを監督するオフィスを確立することを提案します。
私たちは、全国レベルでどのように複雑なハイリスク技術が正常に規制されてきたかを調べます。
具体的には、米国の医療機器産業と製薬業界（FDAによって規制されている）の既存の規制、欧州連合（AI法）のAIの提案された法律、および既存の米国の差別化法律との類似点を引き出します。
説明責任とユーザーの信頼を促進するために、AIの説明責任メカニズムは、AIシステムの意図された高リスク使用の各カテゴリの範囲化された測定を導入し、そのようなAIシステム間の構造化された比較を可能にします。
入力の影響測定値、公平性統計や高リスクAIシステムのその他のパフォーマンス測定など、説明可能なAI技術を使用することをお勧めします。
リスクの高いAIシステムを透過的に特徴付けるために、内部ベンチマークと自動監査を標準化することを提案します。
このような監査とベンチマークの結果は、パブリックAIレジストリを介して競合するAIシステムの意味のある比較を可能にするために、明確かつ透過的に伝達され、説明されます。
このような標準化された監査、ベンチマーク、および証明書は、それぞれのAIシステムのリスクの高い使用に固有のものとし、欧州連合のAI法におけるAIシステムの適合性評価を構成する可能性があります。

要約(オリジナル)

We propose establishing an office to oversee AI systems by introducing a tiered system of explainability and benchmarking requirements for commercial AI systems. We examine how complex high-risk technologies have been successfully regulated at the national level. Specifically, we draw parallels to the existing regulation for the U.S. medical device industry and the pharmaceutical industry (regulated by the FDA), the proposed legislation for AI in the European Union (the AI Act), and the existing U.S. anti-discrimination legislation. To promote accountability and user trust, AI accountability mechanisms shall introduce standarized measures for each category of intended high-risk use of AI systems to enable structured comparisons among such AI systems. We suggest using explainable AI techniques, such as input influence measures, as well as fairness statistics and other performance measures of high-risk AI systems. We propose to standardize internal benchmarking and automated audits to transparently characterize high-risk AI systems. The results of such audits and benchmarks shall be clearly and transparently communicated and explained to enable meaningful comparisons of competing AI systems via a public AI registry. Such standardized audits, benchmarks, and certificates shall be specific to intended high-risk use of respective AI systems and could constitute conformity assessment for AI systems, e.g., in the European Union’s AI Act.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google