DebiasBench: Benchmark for Fair Comparison of Debiasing in Image Classification

要約

画像分類器は、予測時に対象クラスと強い相関を持つ周辺属性に過度に依存することが多い（すなわち、データセットバイアス）。近年、このようなデータセットバイアスを軽減するための研究が盛んに行われており、その作業はデバイアスと呼ばれている。しかし、これらのデバイアシング手法は、実験設定（データセットやニューラルネットワークアーキテクチャなど）に一貫性がないことが多い。さらに、デバイアシングの先行研究のほとんどは、早期停止やハイパーパラメータのチューニングを含むモデルパラメータの選択方法を明示していない。本論文の目的は、一貫性のない実験設定を標準化し、デバイアシングのための一貫したモデルパラメータ選択基準を提案することである。このような統一的な実験設定とモデルパラメータ選択基準に基づき、5つのデータセットと7つのデビアス手法を含むDebiasBenchというベンチマークを構築する。このベンチマークは、5つのデータセットと7つのデビアス手法を含む。我々は、様々な側面から慎重に実験を行い、異なるデータセットにおいて、異なる最新の手法がそれぞれ最もよく機能することを示す。また、デバイアスモジュールを用いないバニラ手法も、バイアスの深刻度が低いデータセットで競争力のある結果を示している。DebiasBenchでは、既存のデバイアス手法の実装を公開し、今後のデバイアス研究者が公平な比較を行い、最先端の性能をさらに向上させることを奨励します。

要約(オリジナル)

Image classifiers often rely overly on peripheral attributes that have a strong correlation with the target class (i.e., dataset bias) when making predictions. Recently, a myriad of studies focus on mitigating such dataset bias, the task of which is referred to as debiasing. However, these debiasing methods often have inconsistent experimental settings (e.g., datasets and neural network architectures). Additionally, most of the previous studies in debiasing do not specify how they select their model parameters which involve early stopping and hyper-parameter tuning. The goal of this paper is to standardize the inconsistent experimental settings and propose a consistent model parameter selection criterion for debiasing. Based on such unified experimental settings and model parameter selection criterion, we build a benchmark named DebiasBench which includes five datasets and seven debiasing methods. We carefully conduct extensive experiments in various aspects and show that different state-of-the-art methods work best in different datasets, respectively. Even, the vanilla method, the method with no debiasing module, also shows competitive results in datasets with low bias severity. We publicly release the implementation of existing debiasing methods in DebiasBench to encourage future researchers in debiasing to conduct fair comparisons and further push the state-of-the-art performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL