Gold Doesn’t Always Glitter: Spectral Removal of Linear and Nonlinear Guarded Attribute Information

要約

ニューラル表現からプライベートまたは保護された情報を削除するためのシンプルで効果的な方法 (スペクトル属性削除; SAL) について説明します。
私たちの方法は行列分解を使用して、因数分解方法が通常使用する最大共分散ではなく、保護された情報との共分散が減少した方向に入力表現を投影します。
線形情報除去から始めて、アルゴリズムをカーネルを使用した非線形情報除去の場合に一般化します。
私たちの実験は、保護された情報を削除した後、以前の作業と比較して、アルゴリズムがより優れたメインタスクのパフォーマンスを維持することを示しています。
さらに、私たちの実験では、これらの属性に関する情報を削除するために比較的少量の保護された属性データが必要であることを示しています。これにより、機密データへの露出が減り、リソースの少ないシナリオにより適しています。
コードは https://github.com/jasonshaoshun/SAL で入手できます。

要約(オリジナル)

We describe a simple and effective method (Spectral Attribute removaL; SAL) to remove private or guarded information from neural representations. Our method uses matrix decomposition to project the input representations into directions with reduced covariance with the guarded information rather than maximal covariance as factorization methods normally use. We begin with linear information removal and proceed to generalize our algorithm to the case of nonlinear information removal using kernels. Our experiments demonstrate that our algorithm retains better main task performance after removing the guarded information compared to previous work. In addition, our experiments demonstrate that we need a relatively small amount of guarded attribute data to remove information about these attributes, which lowers the exposure to sensitive data and is more suitable for low-resource scenarios. Code is available at https://github.com/jasonshaoshun/SAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google