Scalable Infomin Learning

要約

インフォミン学習のタスクは、特定のターゲットについて有益ではなく、高い有用性を持つ表現を学習することを目的としています。後者は、表現とターゲットの間の相互情報を最小化することによって達成されます。
保護された属性に対する公平な予測モデルのトレーニングから、もつれた表現を使用した教師なし学習まで、幅広い用途があります。
インフォミン学習に関する最近の研究では、主に敵対的トレーニングが使用されています。これは、相互情報量またはそのプロキシを推定するためにニューラル ネットワークをトレーニングすることを含むため、遅く、最適化が困難です。
スライシング技術の最近の進歩を利用して、相互情報に新しいプロキシ メトリックを使用する新しい infomin 学習アプローチを提案します。
さらに、このプロキシ メトリックに対する正確で分析的に計算可能な近似値を導出することで、ニューラル ネットワーク ベースの相互情報量推定器を構築する必要がなくなります。
アルゴリズムの公平性、もつれのない表現学習、およびドメイン適応に関する実験により、限られた時間予算で不要な情報を効果的に削除できることが確認されました。

要約(オリジナル)

The task of infomin learning aims to learn a representation with high utility while being uninformative about a specified target, with the latter achieved by minimising the mutual information between the representation and the target. It has broad applications, ranging from training fair prediction models against protected attributes, to unsupervised learning with disentangled representations. Recent works on infomin learning mainly use adversarial training, which involves training a neural network to estimate mutual information or its proxy and thus is slow and difficult to optimise. Drawing on recent advances in slicing techniques, we propose a new infomin learning approach, which uses a novel proxy metric to mutual information. We further derive an accurate and analytically computable approximation to this proxy metric, thereby removing the need of constructing neural network-based mutual information estimators. Experiments on algorithmic fairness, disentangled representation learning and domain adaptation verify that our method can effectively remove unwanted information with limited time budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google