LLEDA — Lifelong Self-Supervised Domain Adaptation

要約

人間と動物は、以前に獲得した知識を失うことなく、生涯にわたって継続的に新しい情報を学習する能力を持っています。
しかし、人工ニューラル ネットワークは、新しい情報が古い知識と矛盾するため、これに苦戦し、壊滅的な忘却を引き起こします。
相補学習システム (CLS) 理論は、海馬と新皮質システムの間の相互作用により、哺乳類の脳における長期的かつ効率的な学習が可能になり、記憶再生によってこれら 2 つのシステム間の相互作用が促進され、物忘れが減少することが示唆されています。
提案されている生涯自己監視ドメイン適応 (LLEDA) フレームワークは CLS 理論からインスピレーションを得ており、2 つのネットワーク間の相互作用を模倣しています。1 つはデータ分布の変化に迅速に適応する海馬にヒントを得た DA ネットワーク、もう 1 つは新皮質にヒントを得た SSL ネットワークです。
ドメインに依存しない一般的な表現を徐々に学習します。
LLEDA の潜在再生技術は、過去の記憶の潜在表現を再アクティブ化して再生することで、これら 2 つのネットワーク間の通信を容易にし、以前に学習した情報を妨げることなく、長期にわたる一般化と保持を安定させます。
広範な実験により、提案された方法は他のいくつかの方法よりも優れており、長期的な適応をもたらし、新しいドメインに移されたときに壊滅的な忘却が起こりにくいことが実証されています。

要約(オリジナル)

Humans and animals have the ability to continuously learn new information over their lifetime without losing previously acquired knowledge. However, artificial neural networks struggle with this due to new information conflicting with old knowledge, resulting in catastrophic forgetting. The complementary learning systems (CLS) theory suggests that the interplay between hippocampus and neocortex systems enables long-term and efficient learning in the mammalian brain, with memory replay facilitating the interaction between these two systems to reduce forgetting. The proposed Lifelong Self-Supervised Domain Adaptation (LLEDA) framework draws inspiration from the CLS theory and mimics the interaction between two networks: a DA network inspired by the hippocampus that quickly adjusts to changes in data distribution and an SSL network inspired by the neocortex that gradually learns domain-agnostic general representations. LLEDA’s latent replay technique facilitates communication between these two networks by reactivating and replaying the past memory latent representations to stabilise long-term generalisation and retention without interfering with the previously learned information. Extensive experiments demonstrate that the proposed method outperforms several other methods resulting in a long-term adaptation while being less prone to catastrophic forgetting when transferred to new domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google