A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning

要約

忘却とは、以前に獲得した知識が失われたり劣化したりすることを指します。
忘却に関する既存の調査は主に継続学習に焦点を当てていますが、忘却は深層学習の他のさまざまな研究領域で観察される一般的な現象です。
忘却は、ジェネレーターシフトによる生成モデルや、クライアント間の異種データ分散によるフェデレーテッドラーニングなどの研究分野で現れます。
忘却への対処には、古いタスクの知識の保持と新しいタスクの迅速な学習のバランスをとること、相反する目標へのタスクの干渉の管理、プライバシー漏洩の防止など、いくつかの課題が含まれます。さらに、継続的な学習に関する既存の調査のほとんどは、忘却が常に有害であると暗黙的に想定しています。
。
対照的に、私たちの調査では、忘れることは両刃の剣であり、プライバシー保護のシナリオなど、特定の場合には有益で望ましい場合があると主張しています。
より広い文脈で忘却を探求することで、この現象のより微妙な理解を提示し、その潜在的な利点を強調します。
私たちは、この包括的な調査を通じて、物忘れに取り組んできたさまざまな分野からのアイデアやアプローチを活用して、潜在的な解決策を明らかにしたいと考えています。
従来の境界を超えて忘却を調査することで、実際の応用で忘却を軽減、活用、さらには採用するための新しい戦略の開発を促進したいと考えています。
さまざまな研究分野における物忘れに関する論文の包括的なリストは、\url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning} で入手できます。

要約(オリジナル)

Forgetting refers to the loss or deterioration of previously acquired knowledge. While existing surveys on forgetting have primarily focused on continual learning, forgetting is a prevalent phenomenon observed in various other research domains within deep learning. Forgetting manifests in research fields such as generative models due to generator shifts, and federated learning due to heterogeneous data distributions across clients. Addressing forgetting encompasses several challenges, including balancing the retention of old task knowledge with fast learning of new task, managing task interference with conflicting goals, and preventing privacy leakage, etc. Moreover, most existing surveys on continual learning implicitly assume that forgetting is always harmful. In contrast, our survey argues that forgetting is a double-edged sword and can be beneficial and desirable in certain cases, such as privacy-preserving scenarios. By exploring forgetting in a broader context, we present a more nuanced understanding of this phenomenon and highlight its potential advantages. Through this comprehensive survey, we aspire to uncover potential solutions by drawing upon ideas and approaches from various fields that have dealt with forgetting. By examining forgetting beyond its conventional boundaries, we hope to encourage the development of novel strategies for mitigating, harnessing, or even embracing forgetting in real applications. A comprehensive list of papers about forgetting in various research fields is available at \url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google