DeNetDM: Debiasing by Network Depth Modulation

要約

偏ったデータセットでトレーニングされたニューラル ネットワークは、誤って偽の相関を学習する傾向があり、一般化を妨げます。
我々は、(1) 擬似相関を示すサンプルは、そうでないサンプルと比較して、より低いランクの多様体に存在することを正式に証明します。
(2) ネットワークの深さは、その表現でエンコードされた属性部分空間のランクに対する暗黙的な正則化子として機能します。
これらの洞察を活用して、スプリアス相関に対する堅牢性を開発する方法としてネットワーク深度変調を使用する新しいバイアス除去手法である DeNetDM を紹介します。
Product of Experts から派生したトレーニング パラダイムを使用して、深いアーキテクチャと浅いアーキテクチャを持つバイアス付きブランチとバイアス解除ブランチの両方を作成し、知識を蒸留してターゲットのバイアス解除モデルを生成します。
私たちの方法は、バイアス アノテーションや明示的なデータ拡張を必要とせず、いずれかまたは両方を必要とするアプローチと同等のパフォーマンスを発揮します。
DeNetDM は、合成データセットと実世界のデータセットの両方で既存のバイアス除去技術を 5\% 上回るパフォーマンスを示します。
プロジェクト ページは https://vssilpa.github.io/denetdm/ で利用できます。

要約(オリジナル)

Neural networks trained on biased datasets tend to inadvertently learn spurious correlations, hindering generalization. We formally prove that (1) samples that exhibit spurious correlations lie on a lower rank manifold relative to the ones that do not; and (2) the depth of a network acts as an implicit regularizer on the rank of the attribute subspace that is encoded in its representations. Leveraging these insights, we present DeNetDM, a novel debiasing method that uses network depth modulation as a way of developing robustness to spurious correlations. Using a training paradigm derived from Product of Experts, we create both biased and debiased branches with deep and shallow architectures and then distill knowledge to produce the target debiased model. Our method requires no bias annotations or explicit data augmentation while performing on par with approaches that require either or both. We demonstrate that DeNetDM outperforms existing debiasing techniques on both synthetic and real-world datasets by 5\%. The project page is available at https://vssilpa.github.io/denetdm/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google