A Study of Fairness Concerns in AI-based Mobile App Reviews

要約

私たちの生活や社会における AI ベースのシステムの適用が増えるにつれ、AI ベースのシステムが責任ある方法で開発および使用されることを保証する必要性が高まっています。
公平性は、この目的のために AI ベースのシステムで対処する必要がある社会技術的な懸念事項の 1 つです。
不公平な AI ベースのシステム、特に不公平な AI ベースのモバイル アプリは、世界の人口のかなりの割合に困難をもたらす可能性があります。
この論文は、AI ベースのアプリレビューにおける公平性の問題を深く分析することを目的としています。
まず、公平性レビューと非公平性レビューの統計サンプルを含むグラウンドトゥルース データセットを手動で構築しました。
次に、グラウンド トゥルース データセットを活用して、公平性レビューと非公平性レビューを区別する一連の機械学習および深層学習分類器を開発および評価しました。
私たちの実験では、最もパフォーマンスの高い分類器が 94% の精度で公平性レビューを検出できることが示されています。
次に、108 の AI ベースのアプリから収集された約 950 万件のレビューに最もパフォーマンスの高い分類器を適用し、約 92,000 件の公平性レビューを特定しました。
公平性レビューは 23 のアプリ カテゴリに表示されますが、公平性レビューの割合が最も高いのは「コミュニケーション」アプリ カテゴリと「ソーシャル」アプリ カテゴリであることがわかりました。
次に、K 平均法クラスタリング手法を 92,000 個の公平性レビューに適用し、手動で分析した結果、6 つの異なるタイプの公平性に関する懸念が特定されました (例: 「異なるプラットフォームとデバイスで異なる品質の機能とサービスを受け取る」、「
ユーザー作成コンテンツの取り扱いにおける透明性と公平性の欠如」）。
最後に、公平性レビューに対する 2,248 人のアプリ所有者の回答を手動で分析した結果、公平性への懸念を正当化するためにアプリ所有者が報告した 6 つの根本原因 (「著作権問題」、「外部要因」、「開発コスト」など) が特定されました。

要約(オリジナル)

With the growing application of AI-based systems in our lives and society, there is a rising need to ensure that AI-based systems are developed and used in a responsible way. Fairness is one of the socio-technical concerns that must be addressed in AI-based systems for this purpose. Unfair AI-based systems, particularly, unfair AI-based mobile apps, can pose difficulties for a significant proportion of the global populace. This paper aims to deeply analyze fairness concerns in AI-based app reviews. We first manually constructed a ground-truth dataset including a statistical sample of fairness and non-fairness reviews. Leveraging the ground-truth dataset, we then developed and evaluated a set of machine learning and deep learning classifiers that distinguish fairness reviews from non-fairness reviews. Our experiments show that our best-performing classifier can detect fairness reviews with a precision of 94%. We then applied the best-performing classifier on approximately 9.5M reviews collected from 108 AI-based apps and identified around 92K fairness reviews. While the fairness reviews appear in 23 app categories, we found that the ‘communication’ and ‘social’ app categories have the highest percentage of fairness reviews. Next, applying the K-means clustering technique to the 92K fairness reviews, followed by manual analysis, led to the identification of six distinct types of fairness concerns (e.g., ‘receiving different quality of features and services in different platforms and devices’ and ‘lack of transparency and fairness in dealing with user-generated content’). Finally, the manual analysis of 2,248 app owners’ responses to the fairness reviews identified six root causes (e.g., ‘copyright issues’, ‘external factors’, ‘development cost’) that app owners report to justify fairness concerns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google