Active Fourier Auditor for Estimating Distributional Properties of ML Models

要約

機械学習 (ML) モデルが現実世界のアプリケーションに広く展開されるにつれ、ML モデルのプロパティの検証と監査が中心的な関心事になっています。
この研究では、堅牢性、個人の公平性、およびグループの公平性という 3 つの特性に焦点を当てます。
ML モデルのプロパティを監査するための 2 つのアプローチ、つまり、監査対象のターゲット モデルの再構築を伴う推定と再構築を伴わない推定について説明します。
最初のアプローチは文献で研究されていますが、2 番目のアプローチは未調査のままです。
この目的のために、監査対象の ML モデルのフーリエ係数に関してさまざまな特性を定量化する新しいフレームワークを開発しますが、それをパラメトリックに再構築することはありません。
ML モデルのフーリエ係数に従ってサンプル ポイントをクエリし、さらに特性を推定する Active Fourier Auditor (AFA) を提案します。
AFA の推定値の高確率の誤差限界と、それらを監査するためのサンプルの複雑さの最悪の場合の下限を導き出します。
複数のデータセットとモデルで、AFA がベースラインよりも対象の特性を推定するのに正確でサンプル効率が高いことを数値的に示します。

要約(オリジナル)

With the pervasive deployment of Machine Learning (ML) models in real-world applications, verifying and auditing properties of ML models have become a central concern. In this work, we focus on three properties: robustness, individual fairness, and group fairness. We discuss two approaches for auditing ML model properties: estimation with and without reconstruction of the target model under audit. Though the first approach is studied in the literature, the second approach remains unexplored. For this purpose, we develop a new framework that quantifies different properties in terms of the Fourier coefficients of the ML model under audit but does not parametrically reconstruct it. We propose the Active Fourier Auditor (AFA), which queries sample points according to the Fourier coefficients of the ML model, and further estimates the properties. We derive high probability error bounds on AFA’s estimates, along with the worst-case lower bounds on the sample complexity to audit them. Numerically we demonstrate on multiple datasets and models that AFA is more accurate and sample-efficient to estimate the properties of interest than the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google