Balancing Act: Constraining Disparate Impact in Sparse Models

要約

モデル プルーニングは、計算能力またはストレージ能力が制限されたエッジ デバイス上で大規模な深層学習モデルの展開を可能にする一般的なアプローチです。
疎モデルは、データセット全体のレベルで密なモデルと同等のパフォーマンスを達成しますが、一部のデータ サブグループでは精度が大幅に低下します。
枝刈りによって引き起こされるこの異種の影響を軽減する既存の方法は、(i) 問題に間接的に対処する代替メトリクスに依存しており、解釈可能性が限られています。
または、(ii) 計算コストの観点から、保護されたサブグループの数に応じて拡張が不十分です。
$\textit{枝刈りの異なる影響に直接対処}$する制約付き最適化アプローチを提案します。私たちの定式化は、サブグループごとに密モデルと疎モデルの間の精度変化を制限します。
この制約の選択により、枝刈りされたモデルが許容可能な視差レベルを達成しているかどうかを判断するための、解釈可能な達成基準が提供されます。
実験結果は、私たちの技術が大規模なモデルと数百の保護されたサブグループを含む問題に確実に対応できることを示しています。

要約(オリジナル)

Model pruning is a popular approach to enable the deployment of large deep learning models on edge devices with restricted computational or storage capacities. Although sparse models achieve performance comparable to that of their dense counterparts at the level of the entire dataset, they exhibit high accuracy drops for some data sub-groups. Existing methods to mitigate this disparate impact induced by pruning (i) rely on surrogate metrics that address the problem indirectly and have limited interpretability; or (ii) scale poorly with the number of protected sub-groups in terms of computational cost. We propose a constrained optimization approach that $\textit{directly addresses the disparate impact of pruning}$: our formulation bounds the accuracy change between the dense and sparse models, for each sub-group. This choice of constraints provides an interpretable success criterion to determine if a pruned model achieves acceptable disparity levels. Experimental results demonstrate that our technique scales reliably to problems involving large models and hundreds of protected sub-groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google