要約
公平性は、AI ベースのシステムで対処する必要がある社会技術的な懸念事項の 1 つです。
不公平な AI ベースのシステム、特に不公平な AI ベースのモバイル アプリは、世界人口のかなりの割合に困難をもたらす可能性があります。
このペーパーは、AI ベースのアプリレビューにおける公平性の問題を分析することを目的としています。
まず、1,132 件の公平性レビューと 1,473 件の非公平性レビューを含む、グラウンド トゥルース データセットを手動で構築しました。
グラウンドトゥルース データセットを活用して、公平性レビューと非公平性レビューを区別する一連の機械学習モデルと深層学習モデルを開発および評価しました。
私たちの実験では、最もパフォーマンスの高いモデルが 94% の精度で公平性レビューを検出できることがわかりました。
次に、108 の AI ベースのアプリから収集した約 950 万件のレビューに最もパフォーマンスの高いモデルを適用し、約 92,000 件の公平性レビューを特定しました。
次に、K 平均法クラスタリング手法を 92,000 個の公平性レビューに適用し、その後手動で分析したところ、6 つの異なるタイプの公平性に関する懸念が特定されました (例: 「異なるプラットフォームやデバイスで異なる品質の機能やサービスを受け取る」、「
ユーザー作成コンテンツの取り扱いにおける透明性と公平性の欠如」）。
最後に、公平性レビューに対する 2,248 人のアプリ所有者の回答を手動で分析した結果、公平性への懸念を正当化するためにアプリ所有者が報告した 6 つの根本原因 (「著作権問題」など) が特定されました。
要約(オリジナル)
Fairness is one of the socio-technical concerns that must be addressed in AI-based systems. Unfair AI-based systems, particularly unfair AI-based mobile apps, can pose difficulties for a significant proportion of the global population. This paper aims to analyze fairness concerns in AI-based app reviews. We first manually constructed a ground-truth dataset, including 1,132 fairness and 1,473 non-fairness reviews. Leveraging the ground-truth dataset, we developed and evaluated a set of machine learning and deep learning models that distinguish fairness reviews from non-fairness reviews. Our experiments show that our best-performing model can detect fairness reviews with a precision of 94%. We then applied the best-performing model on approximately 9.5M reviews collected from 108 AI-based apps and identified around 92K fairness reviews. Next, applying the K-means clustering technique to the 92K fairness reviews, followed by manual analysis, led to the identification of six distinct types of fairness concerns (e.g., ‘receiving different quality of features and services in different platforms and devices’ and ‘lack of transparency and fairness in dealing with user-generated content’). Finally, the manual analysis of 2,248 app owners’ responses to the fairness reviews identified six root causes (e.g., ‘copyright issues’) that app owners report to justify fairness concerns.
arxiv情報
| 著者 | Ali Rezaei Nasab,Maedeh Dashti,Mojtaba Shahin,Mansooreh Zahedi,Hourieh Khalajzadeh,Chetan Arora,Peng Liang |
| 発行日 | 2024-06-20 14:24:06+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google