Evaluating the Social Impact of Generative AI Systems in Systems and Society

要約

テキスト、画像、オーディオ、ビデオに至るまでのモダリティにわたる生成 AI システムは、広範な社会的影響を及ぼしますが、それらの影響を評価する手段や、どの影響を評価すべきかに関する公式の標準は存在しません。
私たちは、あらゆるモダリティの生成 AI システムを評価する際の、2 つの包括的なカテゴリ、つまり、事前に適用されていない基本システムで評価できるものと、社会で評価できるものという標準的なアプローチを目指しています。
特定の社会的影響カテゴリーと、基本的な技術システム、次に人々と社会における評価に取り組み、実施する方法について説明します。
基本システムのフレームワークでは、社会的影響の 7 つのカテゴリが定義されています。偏見、固定観念、代表的危害です。
文化的価値観と機密性の高いコンテンツ。
異なるパフォーマンス。
プライバシーとデータ保護。
経済的コスト。
環境コスト。
データとコンテンツのモデレーションの人件費。
提案された評価方法はすべてのモダリティに適用され、既存の評価の限界の分析は、将来の評価に必要な投資の出発点として機能します。
私たちは、社会で評価できるものについて 5 つの包括的なカテゴリーを提供しており、それぞれに独自のサブカテゴリーがあります。
不平等、疎外、暴力。
権限の集中。
労働と創造性。
そして生態系と環境。
各サブカテゴリには、危害を軽減するための推奨事項が含まれています。
私たちは、指定されたカテゴリに沿った既存の評価を提供するために、AI 研究コミュニティ向けの評価リポジトリを同時に作成しています。
このバージョンは、ACM FAccT 2023 での CRAFT セッション後に更新されます。

要約(オリジナル)

Generative AI systems across modalities, ranging from text, image, audio, and video, have broad social impacts, but there exists no official standard for means of evaluating those impacts and which impacts should be evaluated. We move toward a standard approach in evaluating a generative AI system for any modality, in two overarching categories: what is able to be evaluated in a base system that has no predetermined application and what is able to be evaluated in society. We describe specific social impact categories and how to approach and conduct evaluations in the base technical system, then in people and society. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to all modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what is able to be evaluated in society, each with their own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm. We are concurrently crafting an evaluation repository for the AI research community to contribute existing evaluations along the given categories. This version will be updated following a CRAFT session at ACM FAccT 2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google