Unsupervised Learning of Unbiased Visual Representations

要約

深いニューラルネットワークは、データセットバイアスの存在下で堅牢な表現を学習するのに苦労しており、公開されていないデータセットの最適以下の一般化につながります。
この制限は、モデルがトレーニング中に誤って獲得された周辺および交絡因子に大きく依存しているために発生します。
この問題に対処するための既存のアプローチには、通常、バイアス属性の明示的な監督またはバイアスに関する事前知識への依存が含まれます。
この研究では、バイアスの明示的な注釈が利用できず、その性質に関する事前の知識がないという挑戦的なシナリオに対処します。
3つの重要なステップを備えた完全に監視されていない紛争フレームワークを提示します。まず、バイアスキャプチャモデルを獲得するために悪性バイアスを学習する固有の傾向を活用します。
次に、擬似標識プロセスを採用してバイアスラベルを取得します。
そして最後に、最先端の監視された脱毛技術を適用して、公平なモデルを実現します。
さらに、モデルの偏りを評価するための理論的枠組みを紹介し、バイアスがニューラルネットワークトレーニングにどのように影響するかの詳細な分析を実施します。
合成データセットと実際のデータセットの両方での実験結果は、私たちの方法の有効性を示しており、さまざまな設定で最先端のパフォーマンスを紹介し、時には完全に監視されている紛争アプローチを上回ります。

要約(オリジナル)

Deep neural networks often struggle to learn robust representations in the presence of dataset biases, leading to suboptimal generalization on unbiased datasets. This limitation arises because the models heavily depend on peripheral and confounding factors, inadvertently acquired during training. Existing approaches to address this problem typically involve explicit supervision of bias attributes or reliance on prior knowledge about the biases. In this study, we address the challenging scenario where no explicit annotations of bias are available, and there’s no prior knowledge about its nature. We present a fully unsupervised debiasing framework with three key steps: firstly, leveraging the inherent tendency to learn malignant biases to acquire a bias-capturing model; next, employing a pseudo-labeling process to obtain bias labels; and finally, applying cutting-edge supervised debiasing techniques to achieve an unbiased model. Additionally, we introduce a theoretical framework for evaluating model biasedness and conduct a detailed analysis of how biases impact neural network training. Experimental results on both synthetic and real-world datasets demonstrate the effectiveness of our method, showcasing state-of-the-art performance in various settings, occasionally surpassing fully supervised debiasing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google