Disparate Impact on Group Accuracy of Linearization for Private Inference

要約

暗号的に安全なデータに対するプライバシー保護の推論を確実に行うことは、計算上の課題としてよく知られています。
非線形アクティベーションにおけるコストのかかる暗号計算のボトルネックを軽減するために、最近の方法では、ニューラル ネットワーク内のこれらのアクティベーションの対象部分を線形化することが提案されています。
この手法により、実行時間が大幅に短縮されますが、精度への影響はほとんど無視できます。
この論文では、このような計算上の利点が公平性コストの増加につながる可能性があることを実証します。
具体的には、ReLU アクティベーションの数を減らすと、多数派グループと比較して少数派グループの精度が不釣り合いに低下することがわかりました。
これらの観察を説明するために、決定境界の性質に関する限定された仮定の下で数学的解釈を提供すると同時に、広く使用されているデータセットとアーキテクチャ全体にわたってこの問題が蔓延していることも示します。
最後に、線形化モデルの微調整ステップを変更する簡単な手順が、どのように効果的な緩和戦略として機能するかを示します。

要約(オリジナル)

Ensuring privacy-preserving inference on cryptographically secure data is a well-known computational challenge. To alleviate the bottleneck of costly cryptographic computations in non-linear activations, recent methods have suggested linearizing a targeted portion of these activations in neural networks. This technique results in significantly reduced runtimes with often negligible impacts on accuracy. In this paper, we demonstrate that such computational benefits may lead to increased fairness costs. Specifically, we find that reducing the number of ReLU activations disproportionately decreases the accuracy for minority groups compared to majority groups. To explain these observations, we provide a mathematical interpretation under restricted assumptions about the nature of the decision boundary, while also showing the prevalence of this problem across widely used datasets and architectures. Finally, we show how a simple procedure altering the fine-tuning step for linearized models can serve as an effective mitigation strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google