Functional trustworthiness of AI systems by statistically valid testing

要約

著者らは、EU 人工知能 (AI) 法の現行草案で AI システムの適合性評価に求められている対策と手順が不十分であるため、欧州国民の安全、健康、権利を懸念しています。
現在の EU AI 法の草案だけでなく、それに付随する CEN/CENELEC での標準化の取り組みも、AI システムの実際の機能保証はおそらく非現実的で、いずれにしても複雑すぎるという立場に頼っていることがわかります。
しかし、評価が不十分な AI システムに対する信頼という誤った幻想を生み出す適合性評価手順を制定することは、良く言えば単純で、悪く言えば重大な過失です。
したがって、EU AI 法は、機能的な信頼性と責任の正確な帰属による品質の確保という点を見逃しています。
AI 意思決定システムの信頼性は、何よりもまず、ランダムに選択されたサンプルに対する正しい統計テストと、最初にサンプルの抽出を可能にするアプリケーション ドメインの定義の精度にあります。
以降、このテスト可能な品質を機能的信頼性と呼びます。
これには、関連するすべての機能の正しい統計テストを可能にする設計、開発、展開が含まれます。
私たちは、AI システムの統計的機能特性の信頼できる評価が、適合性評価の不可欠かつ必須の核でなければならないと強く確信し、提唱しています。
このペーパーでは、信頼性の高い機能的信頼性を確立するために必要な 3 つの要素、つまり、(1) アプリケーションの技術分布の定義、(2) リスクベースの最小パフォーマンス要件、および (3) 統計的に有効な要件について説明します。
独立したランダムサンプルに基づいたテスト。

要約(オリジナル)

The authors are concerned about the safety, health, and rights of the European citizens due to inadequate measures and procedures required by the current draft of the EU Artificial Intelligence (AI) Act for the conformity assessment of AI systems. We observe that not only the current draft of the EU AI Act, but also the accompanying standardization efforts in CEN/CENELEC, have resorted to the position that real functional guarantees of AI systems supposedly would be unrealistic and too complex anyways. Yet enacting a conformity assessment procedure that creates the false illusion of trust in insufficiently assessed AI systems is at best naive and at worst grossly negligent. The EU AI Act thus misses the point of ensuring quality by functional trustworthiness and correctly attributing responsibilities. The trustworthiness of an AI decision system lies first and foremost in the correct statistical testing on randomly selected samples and in the precision of the definition of the application domain, which enables drawing samples in the first place. We will subsequently call this testable quality functional trustworthiness. It includes a design, development, and deployment that enables correct statistical testing of all relevant functions. We are firmly convinced and advocate that a reliable assessment of the statistical functional properties of an AI system has to be the indispensable, mandatory nucleus of the conformity assessment. In this paper, we describe the three necessary elements to establish a reliable functional trustworthiness, i.e., (1) the definition of the technical distribution of the application, (2) the risk-based minimum performance requirements, and (3) the statistically valid testing based on independent random samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google