Reducing Bias in Pre-trained Models by Tuning while Penalizing Change

要約

大量のデータでトレーニングされたディープ モデルには、トレーニング中に存在する暗黙的なバイアスが組み込まれていることがよくあります。
後で推論または展開中にそのようなバイアスが発見された場合、多くの場合、新しいデータを取得してモデルを再トレーニングする必要があります。
この動作は、自動運転や医療上の意思決定などの重要な分野で特に問題になります。
このようなシナリオでは、新しいデータは高価であることが多く、入手が困難です。
この研究では、事前トレーニングされたモデルを取得し、以前に検出されたバイアスを軽減するために重みを適応させる、変更ペナルティに基づく方法を紹介します。
これは、フリーズされた事前トレーニング済みネットワークのゼロ初期化コピーを調整することで実現します。
私たちの方法では、パフォーマンスを向上させるためにバイアスと矛盾するサンプルが非常に少なく、極端な場合には 1 つだけ必要になります。
さらに、ベースラインを変更し、過剰適合を減らすための早期停止基準を提案します。
皮膚病変分類におけるよく知られたバイアスと、ドメインシフト文献からの他の 3 つのデータセットに基づいてアプローチを評価します。
私たちのアプローチは、画像が非常に少ない場合に特にうまく機能することがわかりました。
シンプルな微調整と早期停止を組み合わせることで、多数の調整サンプルのパフォーマンス上の利点も得られます。

要約(オリジナル)

Deep models trained on large amounts of data often incorporate implicit biases present during training time. If later such a bias is discovered during inference or deployment, it is often necessary to acquire new data and retrain the model. This behavior is especially problematic in critical areas such as autonomous driving or medical decision-making. In these scenarios, new data is often expensive and hard to come by. In this work, we present a method based on change penalization that takes a pre-trained model and adapts the weights to mitigate a previously detected bias. We achieve this by tuning a zero-initialized copy of a frozen pre-trained network. Our method needs very few, in extreme cases only a single, examples that contradict the bias to increase performance. Additionally, we propose an early stopping criterion to modify baselines and reduce overfitting. We evaluate our approach on a well-known bias in skin lesion classification and three other datasets from the domain shift literature. We find that our approach works especially well with very few images. Simple fine-tuning combined with our early stopping also leads to performance benefits for a larger number of tuning samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google