Tiny, always-on and fragile: Bias propagation through design choices in on-device machine learning workflows

要約

数十億台の分散型で異種のリソースに制約のある IoT デバイスが、個人データのプライベートで高速なオフライン推論のためにオンデバイス機械学習 (ML) を展開しています。
オンデバイス ML はコンテキストに大きく依存し、ユーザー、使用状況、ハードウェア、および環境の属性に敏感です。
この感度と ML のバイアスに対する傾向により、オンデバイス設定でバイアスを研究することが重要になります。
私たちの研究は、この新たなドメインにおけるバイアスの最初の調査の 1 つであり、より公正なオンデバイス ML を構築するための重要な基盤を築きます。
ソフトウェア エンジニアリングのレンズを適用し、デバイス上の ML ワークフローにおける設計の選択によるバイアスの伝播を調査します。
まず、不公平の原因として信頼性バイアスを特定し、それを定量化するための尺度を提案します。
次に、キーワード スポッティング タスクの実証実験を行い、複雑で相互作用する技術設計の選択が信頼性バイアスを増幅および伝播する方法を示します。
私たちの結果は、モデル トレーニング中に行われたサンプル レートや入力フィーチャ タイプなどの設計上の選択、およびモデルを最適化するために行われた軽量アーキテクチャ、枝刈り学習率、枝刈りスパース性などの選択が、男性と女性の間で異なる予測パフォーマンスをもたらす可能性があることを検証しています。
女性グループ。
私たちの調査結果に基づいて、エンジニアがオンデバイス ML のバイアスを軽減するための労力の少ない戦略を提案します。

要約(オリジナル)

Billions of distributed, heterogeneous and resource constrained IoT devices deploy on-device machine learning (ML) for private, fast and offline inference on personal data. On-device ML is highly context dependent, and sensitive to user, usage, hardware and environment attributes. This sensitivity and the propensity towards bias in ML makes it important to study bias in on-device settings. Our study is one of the first investigations of bias in this emerging domain, and lays important foundations for building fairer on-device ML. We apply a software engineering lens, investigating the propagation of bias through design choices in on-device ML workflows. We first identify reliability bias as a source of unfairness and propose a measure to quantify it. We then conduct empirical experiments for a keyword spotting task to show how complex and interacting technical design choices amplify and propagate reliability bias. Our results validate that design choices made during model training, like the sample rate and input feature type, and choices made to optimize models, like light-weight architectures, the pruning learning rate and pruning sparsity, can result in disparate predictive performance across male and female groups. Based on our findings we suggest low effort strategies for engineers to mitigate bias in on-device ML.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google