Linear Adversarial Concept Erasure

要約

テキスト データに基づいてトレーニングされた最新のニューラル モデルは、直接の監視なしに出現する事前トレーニングされた表現に依存しています。
これらの表現が現実世界のアプリケーションで使用されることが増えるにつれて、その内容を \emph{制御} できないことがますます重要な問題になります。
線形予測子が概念を回復するのを防ぐために、与えられた概念に対応する線形部分空間を特定して消去する問題を定式化します。
我々は、この問題を制約付きの線形最大値ゲームとしてモデル化し、既存の解決策が一般にこのタスクには最適ではないことを示します。
私たちは、特定の目的に対して閉じた形式の解を導出し、他の目的に対してうまく機能する凸型緩和法を提案します。
二項性別除去のコンテキストで評価すると、この方法は低次元の部分空間を回復します。その除去により、内因性および外因性の評価によるバイアスが軽減されます。
この方法は表現力が高く、扱いやすさと解釈可能性を維持しながら、深層非線形分類器のバイアスを効果的に軽減できることを示します。

要約(オリジナル)

Modern neural models trained on textual data rely on pre-trained representations that emerge without direct supervision. As these representations are increasingly being used in real-world applications, the inability to \emph{control} their content becomes an increasingly important problem. We formulate the problem of identifying and erasing a linear subspace that corresponds to a given concept, in order to prevent linear predictors from recovering the concept. We model this problem as a constrained, linear maximin game, and show that existing solutions are generally not optimal for this task. We derive a closed-form solution for certain objectives, and propose a convex relaxation, \method, that works well for others. When evaluated in the context of binary gender removal, the method recovers a low-dimensional subspace whose removal mitigates bias by intrinsic and extrinsic evaluation. We show that the method is highly expressive, effectively mitigating bias in deep nonlinear classifiers while maintaining tractability and interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google