BiasPruner: Debiased Continual Learning for Medical Image Classification

要約

継続学習 (CL) は、ネットワークが新しいタスクを順番に学習しながら動的に適応し、致命的な忘れを起こすことなく新しいデータやクラスに対応できるようにするために重要です。
CL に関する従来の視点から逸脱して、私たちの論文では、忘却が逐次学習パラダイムに実際に利益をもたらす可能性があるという新しい視点を導入しています。
具体的には、ショートカット学習につながる可能性のあるトレーニング データ内の偽の相関を意図的に忘れる CL フレームワークである BiasPruner を紹介します。
BiasPruner は、ネットワーク内の各ユニットのスプリアス特徴の学習への寄与を測定する新しいバイアス スコアを利用して、最も高いバイアス スコアを持つユニットをプルーニングして、特定のタスク用に保存された偏りのないサブネットワークを形成します。
BiasPruner が新しいタスクを学習すると、バイアスを除去した新しいサブネットワークを構築し、以前のサブネットワークからユニットを組み込む可能性があるため、新しいタスクへの適応とパフォーマンスが向上します。
BiasPruner は推論中に、単純なタスクに依存しないアプローチを採用して、予測に最適な偏りのないサブネットワークを選択します。
私たちは、皮膚病変分類と胸部 X 線分類のための 3 つの医療データセットで実験を実施し、BiasPruner が分類パフォーマンスと公平性の点で SOTA CL 手法よりも常に優れていることを実証しました。
私たちのコードはここから入手できます。

要約(オリジナル)

Continual Learning (CL) is crucial for enabling networks to dynamically adapt as they learn new tasks sequentially, accommodating new data and classes without catastrophic forgetting. Diverging from conventional perspectives on CL, our paper introduces a new perspective wherein forgetting could actually benefit the sequential learning paradigm. Specifically, we present BiasPruner, a CL framework that intentionally forgets spurious correlations in the training data that could lead to shortcut learning. Utilizing a new bias score that measures the contribution of each unit in the network to learning spurious features, BiasPruner prunes those units with the highest bias scores to form a debiased subnetwork preserved for a given task. As BiasPruner learns a new task, it constructs a new debiased subnetwork, potentially incorporating units from previous subnetworks, which improves adaptation and performance on the new task. During inference, BiasPruner employs a simple task-agnostic approach to select the best debiased subnetwork for predictions. We conduct experiments on three medical datasets for skin lesion classification and chest X-Ray classification and demonstrate that BiasPruner consistently outperforms SOTA CL methods in terms of classification performance and fairness. Our code is available here.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google