Co-designing an AI Impact Assessment Report Template with AI Practitioners and AI Compliance Experts

要約

AI 規制の進化する状況において、企業は影響評価を実施し、包括的なレポートを通じてコン​​プライアンスを文書化することが重要です。
しかし、現在の報告書には規制の根拠が欠けており、多くの場合、AI システムに関連するプライバシーなどの特定の側面に焦点が当てられており、これらのシステムの現実世界での使用については言及されていません。
さらに、AI 実務者と AI コンプライアンスの専門家の両方を協力してこれらのレポートを設計および評価するための体系的な取り組みは行われていません。
このギャップに対処するために、私たちは 14 人の AI 実務者と 6 人の AI コンプライアンス専門家と共同設計プロセスを反復的に実施し、EU AI 法、NIST の AI リスク管理フレームワーク、および ISO 42001 AI 管理システムに基づいた影響評価レポートのテンプレートを提案しました。
私たちは、大手テクノロジー企業の AI ベースの会議コンパニオン向けの影響評価レポートを作成して、テンプレートを評価しました。
同社の AI 実務者 8 名と産学界の AI コンプライアンス専門家 5 名によるユーザー調査の結果、当社のテンプレートが影響評価に必要な情報を効果的に提供し、AI システムの広範な影響を文書化していることが明らかになりました。
参加者は、コンプライアンスのための導入前段階でテンプレートを使用するだけでなく、AI 使用の設計段階をガイドするツールとしてもテンプレートを使用することを想定していました。

要約(オリジナル)

In the evolving landscape of AI regulation, it is crucial for companies to conduct impact assessments and document their compliance through comprehensive reports. However, current reports lack grounding in regulations and often focus on specific aspects like privacy in relation to AI systems, without addressing the real-world uses of these systems. Moreover, there is no systematic effort to design and evaluate these reports with both AI practitioners and AI compliance experts. To address this gap, we conducted an iterative co-design process with 14 AI practitioners and 6 AI compliance experts and proposed a template for impact assessment reports grounded in the EU AI Act, NIST’s AI Risk Management Framework, and ISO 42001 AI Management System. We evaluated the template by producing an impact assessment report for an AI-based meeting companion at a major tech company. A user study with 8 AI practitioners from the same company and 5 AI compliance experts from industry and academia revealed that our template effectively provides necessary information for impact assessments and documents the broad impacts of AI systems. Participants envisioned using the template not only at the pre-deployment stage for compliance but also as a tool to guide the design stage of AI uses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google