Beyond Accuracy: A Critical Review of Fairness in Machine Learning for Mobile and Wearable Computing

要約

モバイルおよびウェアラブル コンピューティングの分野では、機械学習の革命的な統合が進んでいます。
デバイスは病気を診断し、心臓の異常を予測し、人間の認知能力を最大限に引き出すことができるようになりました。
ただし、これらの予測を実行する基礎となるアルゴリズムは、デリケートな属性 (性別、人種など) に関するバイアスの影響を受けないわけではなく、差別的な結果につながります。
この研究の目的は、モバイルおよびウェアラブル コンピューティング コミュニティが、データセットとモデルに関する情報を報告する方法をどの程度採用して表面化し、最終的にバイアスに対抗しているかを調査することです。
2018 年から 2022 年に IMWUT (Proceedings of the ACM Interactive, Mobile, Wearable and Ubiquitous Technologies) ジャーナルに掲載された論文の体系的なレビューでは、アルゴリズムの公平性に関して進歩が見られたものの、まだ成長の余地が十分にあることが示されています。
私たちの調査結果によると、出版された論文のうち、最新の公平性レポートに準拠しているのはごく一部 (5%) だけであり、その圧倒的多数が精度またはエラーの指標に焦点を当てていることがわかります。
これらの結果を同様の範囲の会場全体で一般化するために、ACM MobiCom、MobiSys、SenSys、IEEE Pervasive、およびモバイル コンピューティングに関する IEEE トランザクションの最近の議事を分析したところ、主要な結果からの逸脱は見つかりませんでした。
これらの発見を踏まえ、私たちの研究は、正確性だけでなく公平性も追求する、モバイルおよびウェアラブル技術の設計と開発のための実践的なガイドラインを提供します。

要約(オリジナル)

The field of mobile and wearable computing is undergoing a revolutionary integration of machine learning. Devices can now diagnose diseases, predict heart irregularities, and unlock the full potential of human cognition. However, the underlying algorithms powering these predictions are not immune to biases with respect to sensitive attributes (e.g., gender, race), leading to discriminatory outcomes. The goal of this work is to explore the extent to which the mobile and wearable computing community has adopted ways of reporting information about datasets and models to surface and, eventually, counter biases. Our systematic review of papers published in the Proceedings of the ACM Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT) journal from 2018-2022 indicates that, while there has been progress made on algorithmic fairness, there is still ample room for growth. Our findings show that only a small portion (5%) of published papers adheres to modern fairness reporting, while the overwhelming majority thereof focuses on accuracy or error metrics. To generalize these results across venues of similar scope, we analyzed recent proceedings of ACM MobiCom, MobiSys, and SenSys, IEEE Pervasive, and IEEE Transactions on Mobile Computing Computing, and found no deviation from our primary result. In light of these findings, our work provides practical guidelines for the design and development of mobile and wearable technologies that not only strive for accuracy but also fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google