Delving into Identify-Emphasize Paradigm for Combating Unknown Bias

要約

データセットのバイアスは、モデルの堅牢性と一般化に悪影響を及ぼすことで有名です。
識別強調パラダイムは、未知のバイアスに対処するのに効果的であるように思われます。
ただし、まだ 2 つの課題に悩まされていることを発見しました。
B、強調戦略は次善のパフォーマンスしか生み出しません。
このホワイト ペーパーでは、課題 A に対して、ピア ピッキングとエポック アンサンブルという 2 つの実用的な戦略と共に、識別精度を高めるための効果的なバイアス競合スコアリング法 (ECS) を提案します。
課題 B については、勾配寄与統計が、最適化がバイアス整列サンプルによって支配されているかどうかを検査するための信頼できる指標になり得ることを指摘します。
次に、勾配統計を使用して、学習プロセス全体でマイニングされたバイアス調整サンプルとバイアス競合サンプルの寄与のバランスを動的に調整し、モデルが固有の機能を活用して公正な決定を下すようにする勾配調整 (GA) を提案します。
さらに、自己教師あり (SS) の口実タスクをトレーニングに組み込むことで、モデルが単純なショートカットではなく、より豊富な機能を利用できるようになり、より堅牢なモデルが得られます。
さまざまな設定で複数のデータセットに対して実験が行われ、提案されたソリューションが未知のバイアスの影響を軽減し、最先端のパフォーマンスを達成できることが実証されています。

要約(オリジナル)

Dataset biases are notoriously detrimental to model robustness and generalization. The identify-emphasize paradigm appears to be effective in dealing with unknown biases. However, we discover that it is still plagued by two challenges: A, the quality of the identified bias-conflicting samples is far from satisfactory; B, the emphasizing strategies only produce suboptimal performance. In this paper, for challenge A, we propose an effective bias-conflicting scoring method (ECS) to boost the identification accuracy, along with two practical strategies — peer-picking and epoch-ensemble. For challenge B, we point out that the gradient contribution statistics can be a reliable indicator to inspect whether the optimization is dominated by bias-aligned samples. Then, we propose gradient alignment (GA), which employs gradient statistics to balance the contributions of the mined bias-aligned and bias-conflicting samples dynamically throughout the learning process, forcing models to leverage intrinsic features to make fair decisions. Furthermore, we incorporate self-supervised (SS) pretext tasks into training, which enable models to exploit richer features rather than the simple shortcuts, resulting in more robust models. Experiments are conducted on multiple datasets in various settings, demonstrating that the proposed solution can mitigate the impact of unknown biases and achieve state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google