要約
タイトル：金が輝くわけではない：線形および非線形の保護属性情報のスペクトラル除去
要約：ニューラル表現から、個人情報や保護情報を除去するための方法を説明する。私たちの方法は、一般的な因子分解法が最大共分散を使用する代わりに、入力表現を保護された情報の共分散を低減する方向に投影するために行列分解を使用する。線形情報の除去から始め、カーネルを使用して非線形情報除去の場合にアルゴリズムを一般化する。実験では、私たちのアルゴリズムは、先行研究に比べて保護された情報を除去した後でも、主要なタスクのパフォーマンスをより良く保持していることが示されています。さらに、私たちの実験では、これらの属性に関する情報を削除するために相対的に少量の保護された属性データが必要であり、これは感性データに露出するリスクを低減し、低資源シナリオにも適している。コードはこちら（https://github.com/jasonshaoshun/SAL）で利用可能。
要点：
– ニューラル表現から保護情報を除去する方法を提案。
– 行列分解を使用して、最大共分散ではなく保護情報の共分散を低減する方向に表現を投影する。
– 線形情報の除去から始め、カーネルを使用して非線形情報除去の場合にアルゴリズムを一般化する。
– 実験では、先行研究に比べて保護された情報を除去した後でも、主要なタスクのパフォーマンスをより良く保持していることが示されています。
– 相対的に少量の保護された属性データが必要であり、感性データに露出するリスクを低減し、低資源シナリオにも適している。
要約(オリジナル)
We describe a simple and effective method (Spectral Attribute removaL; SAL) to remove private or guarded information from neural representations. Our method uses matrix decomposition to project the input representations into directions with reduced covariance with the guarded information rather than maximal covariance as factorization methods normally use. We begin with linear information removal and proceed to generalize our algorithm to the case of nonlinear information removal using kernels. Our experiments demonstrate that our algorithm retains better main task performance after removing the guarded information compared to previous work. In addition, our experiments demonstrate that we need a relatively small amount of guarded attribute data to remove information about these attributes, which lowers the exposure to sensitive data and is more suitable for low-resource scenarios. Code is available at https://github.com/jasonshaoshun/SAL.
arxiv情報
| 著者 | Shun Shao,Yftah Ziser,Shay B. Cohen |
| 発行日 | 2023-04-20 13:04:15+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI