LLEDA — Lifelong Self-Supervised Domain Adaptation

要約

人間や動物は、以前に獲得した知識を失うことなく、生涯にわたって新しい情報を継続的に学習する能力を持っている。しかし、人工的な神経回路網では、新しい情報が古い知識と衝突し、破局的な忘却を引き起こすため、この点に苦労しています。補完的学習システム（CLS）理論は、哺乳類の脳では海馬と新皮質のシステムの相互作用によって長期的かつ効率的な学習が可能になり、記憶再生によってこの2つのシステムの相互作用が促進されて忘却が抑えられるとするものである。提案する生涯自己監視型領域適応（LLEDA）フレームワークは、CLS理論からヒントを得て、海馬にインスパイアされたDAネットワークがデータ分布の変化に迅速に適応し、新皮質にインスパイアされたSSLネットワークが領域にとらわれない一般表現を徐々に学習するという2つのネットワークの相互作用を模倣しています。LLEDAの潜在的再生技術は、過去の記憶の潜在的表現を再活性化し再生することで、これら2つのネットワーク間のコミュニケーションを促進し、以前に学習した情報に干渉することなく長期的な汎化・保持を安定化させるものである。提案手法は、他のいくつかの手法を凌駕し、長期適応を実現する一方で、新しい領域に移行した際に壊滅的な忘却を起こしにくいことが、広範な実験により実証されています。

要約(オリジナル)

Humans and animals have the ability to continuously learn new information over their lifetime without losing previously acquired knowledge. However, artificial neural networks struggle with this due to new information conflicting with old knowledge, resulting in catastrophic forgetting. The complementary learning systems (CLS) theory suggests that the interplay between hippocampus and neocortex systems enables long-term and efficient learning in the mammalian brain, with memory replay facilitating the interaction between these two systems to reduce forgetting. The proposed Lifelong Self-Supervised Domain Adaptation (LLEDA) framework draws inspiration from the CLS theory and mimics the interaction between two networks: a DA network inspired by the hippocampus that quickly adjusts to changes in data distribution and an SSL network inspired by the neocortex that gradually learns domain-agnostic general representations. LLEDA’s latent replay technique facilitates communication between these two networks by reactivating and replaying the past memory latent representations to stabilise long-term generalisation and retention without interfering with the previously learned information. Extensive experiments demonstrate that the proposed method outperforms several other methods resulting in a long-term adaptation while being less prone to catastrophic forgetting when transferred to new domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL