The Fundamental Limits of Least-Privilege Learning

要約

最小特権学習の約束、つまり学習タスクに役立つが、このタスクに関係のない機密情報の推論を防ぐ特徴表現を見つけることは、非常に魅力的です。
しかし、これまでのところ、この概念は非公式に述べられているだけです。
したがって、この目標を達成できるかどうか、またどのように達成できるかは未解決の問題のままです。
この研究では、機械学習の最小特権原則の最初の形式化を提供し、その実現可能性を特徴付けます。
与えられたタスクに対する表現の有用性と、意図されたタスクを超えた表現の漏洩との間には基本的なトレードオフがあることを証明します。つまり、意図されたタスクに対して高い有用性を持つ表現を学習することは不可能ですが、同時に、意図されたタスクの推論を妨げます。
タスクラベル自体以外の属性。
このトレードオフは、データ分布に関する現実的な仮定の下で、これらの表現を生成する特徴マッピングの学習に使用される手法に関係なく当てはまります。
この結果は、幅広い学習手法、モデル アーキテクチャ、データセットに対して経験的に検証されています。

要約(オリジナル)

The promise of least-privilege learning — to find feature representations that are useful for a learning task but prevent inference of any sensitive information unrelated to this task — is highly appealing. However, so far this concept has only been stated informally. It thus remains an open question whether and how we can achieve this goal. In this work, we provide the first formalisation of the least-privilege principle for machine learning and characterise its feasibility. We prove that there is a fundamental trade-off between a representation’s utility for a given task and its leakage beyond the intended task: it is not possible to learn representations that have high utility for the intended task but, at the same time prevent inference of any attribute other than the task label itself. This trade-off holds under realistic assumptions on the data distribution and regardless of the technique used to learn the feature mappings that produce these representations. We empirically validate this result for a wide range of learning techniques, model architectures, and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google