Continual Learning in the Presence of Spurious Correlation

要約

ほとんどの継続的学習 (CL) アルゴリズムは、安定性と可塑性のジレンマ、つまり、新しいタスクを学習しながら以前のタスクを忘れないようにするという課題に取り組むことに重点を置いてきました。
しかし、彼らは、特定のタスクのデータセットが偏っている場合、つまり、偏ったデータセットからタスクの意図しない疑似相関が学習された場合の知識移転の影響を見落としてきました。
その場合、それらは将来のタスクの学習や過去のタスクから既に学んだ知識にどのように影響しますか?
この作業では、1 つの合成データセットと 2 つの実世界のデータセットを使用して体系的な実験を慎重に設計し、経験的な調査結果からの質問に答えます。
具体的には、最初に、データセットのバイアスを認識しない標準の CL メソッドが、あるタスクから別のタスクにバイアスを前方と後方の両方に転送できることを 2 タスク CL 実験を通じて示します。
安定性または可塑性。
次に、バイアス転送も存在し、より長い一連のタスクで蓄積することさえあることを示します。
最後に、グループクラスのバランスの取れた貪欲なサンプリング (BGS) と呼ばれる、バイアス緩和を意識した継続的な学習のためのシンプルでありながら強力なプラグイン方法を提案します。
その結果、私たちの BGS は常に CL モデルのバイアスを減らすことができ、最大でも CL のパフォーマンスがわずかに低下することを示しています。

要約(オリジナル)

Most continual learning (CL) algorithms have focused on tackling the stability-plasticity dilemma, that is, the challenge of preventing the forgetting of previous tasks while learning new ones. However, they have overlooked the impact of the knowledge transfer when the dataset in a certain task is biased – namely, when some unintended spurious correlations of the tasks are learned from the biased dataset. In that case, how would they affect learning future tasks or the knowledge already learned from the past tasks? In this work, we carefully design systematic experiments using one synthetic and two real-world datasets to answer the question from our empirical findings. Specifically, we first show through two-task CL experiments that standard CL methods, which are unaware of dataset bias, can transfer biases from one task to another, both forward and backward, and this transfer is exacerbated depending on whether the CL methods focus on the stability or the plasticity. We then present that the bias transfer also exists and even accumulate in longer sequences of tasks. Finally, we propose a simple, yet strong plug-in method for debiasing-aware continual learning, dubbed as Group-class Balanced Greedy Sampling (BGS). As a result, we show that our BGS can always reduce the bias of a CL model, with a slight loss of CL performance at most.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google