Training Debiased Subnetworks with Contrastive Weight Pruning

要約

ニューラル ネットワークは、多くの場合、一般化されていない誤解を招く統計的証拠を提供する、誤って相関する特徴に偏っています。
これは、「最適で偏りのない機能サブネットワークは、極度に偏ったネットワーク内に存在するのか？」という興味深い疑問を引き起こします。
もしそうなら、そのようなサブネットワークを抽出するにはどうすればよいですか?
このような不偏サブネットワークの存在に関する経験的証拠は蓄積されていますが、これらの観察は主にグラウンドトゥルースの不偏サンプルの指針に基づいています。
したがって、実際に偏ったトレーニング データセットを使用して最適なサブネットワークを発見する方法は未解明です。
これに対処するために、ここではまず、強い偽相関が存在する中で不偏サブネットワークを探索する際の既存のアルゴリズムの潜在的な限界を警告する理論的洞察を提示します。
次に、構造学習におけるバイアス矛盾サンプルの重要性をさらに解明します。
これらの観察を動機として、高価なグループ アノテーションを使用せずに不偏サブネットワークを調査する Debiased Contrastive Weight Pruning (DCWP) アルゴリズムを提案します。
実験結果は、パラメータ数が大幅に削減されているにもかかわらず、私たちのアプローチが最先端のバイアス除去方法よりも大幅に優れていることを示しています。

要約(オリジナル)

Neural networks are often biased to spuriously correlated features that provide misleading statistical evidence that does not generalize. This raises an interesting question: “Does an optimal unbiased functional subnetwork exist in a severely biased network? If so, how to extract such subnetwork?’ While empirical evidence has been accumulated about the existence of such unbiased subnetworks, these observations are mainly based on the guidance of ground-truth unbiased samples. Thus, it is unexplored how to discover the optimal subnetworks with biased training datasets in practice. To address this, here we first present our theoretical insight that alerts potential limitations of existing algorithms in exploring unbiased subnetworks in the presence of strong spurious correlations. We then further elucidate the importance of bias-conflicting samples on structure learning. Motivated by these observations, we propose a Debiased Contrastive Weight Pruning (DCWP) algorithm, which probes unbiased subnetworks without expensive group annotations. Experimental results demonstrate that our approach significantly outperforms state-of-the-art debiasing methods despite its considerable reduction in the number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google