General Greedy De-bias Learning

要約

ニューラル ネットワークは、多くの場合、関心のあるタスクの固有のプロパティではなく、データセットからの疑似相関に依存して予測を行い、分布外 (OOD) テスト データの急激な劣化に直面します。
既存のバイアス緩和学習フレームワークは、注釈によって特定のデータセットのバイアスを捉えようとしますが、複雑な OOD シナリオを処理できません。
他の人は、特別な設計の低能力バイアスモデルまたは損失によってデータセットバイアスを暗黙的に識別しますが、トレーニングデータとテストデータが同じ分布からのものである場合、それらは低下します。
この論文では、偏ったモデルと基本モデルを貪欲にトレーニングする、General Greedy De-bias learning framework (GGD) を提案します。
基本モデルは、偏ったモデルでは解決が困難な例に焦点を当てることをお勧めします。これにより、テスト段階での偽の相関に対する堅牢性が維持されます。
GGD は、さまざまなタスクでモデルの OOD 汎化能力を大幅に向上させますが、バイアス レベルを過大評価し、分布内テストで劣化することがあります。
さらに、GGD のアンサンブル プロセスを再分析し、カリキュラム学習に触発されたカリキュラム正則化を導入します。これにより、配信内パフォーマンスと配信外パフォーマンスの間の適切なトレードオフが達成されます。
画像分類、敵対的質問応答、および視覚的質問応答に関する広範な実験により、この方法の有効性が実証されています。
GGD は、事前知識のあるタスク固有のバイアス モデルと事前知識のない自己アンサンブル バイアス モデルの両方の設定で、よりロバストなベース モデルを学習できます。

要約(オリジナル)

Neural networks often make predictions relying on the spurious correlations from the datasets rather than the intrinsic properties of the task of interest, facing sharp degradation on out-of-distribution (OOD) test data. Existing de-bias learning frameworks try to capture specific dataset bias by annotations but they fail to handle complicated OOD scenarios. Others implicitly identify the dataset bias by special design low capability biased models or losses, but they degrade when the training and testing data are from the same distribution. In this paper, we propose a General Greedy De-bias learning framework (GGD), which greedily trains the biased models and the base model. The base model is encouraged to focus on examples that are hard to solve with biased models, thus remaining robust against spurious correlations in the test stage. GGD largely improves models’ OOD generalization ability on various tasks, but sometimes over-estimates the bias level and degrades on the in-distribution test. We further re-analyze the ensemble process of GGD and introduce the Curriculum Regularization inspired by curriculum learning, which achieves a good trade-off between in-distribution and out-of-distribution performance. Extensive experiments on image classification, adversarial question answering, and visual question answering demonstrate the effectiveness of our method. GGD can learn a more robust base model under the settings of both task-specific biased models with prior knowledge and self-ensemble biased model without prior knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google