Information-Theoretic Dual Memory System for Continual Learning

要約

動的な環境から新しい知識を継続的に獲得することは動物の基本的な能力であり、動物の生存とさまざまな課題への対処能力を促進します。
この機能は継続学習と呼ばれ、以前の知識を損なうことなく一連のタスクを学習する能力に焦点を当てています。
継続的な学習に取り組む一般的な戦略には、固定サイズのメモリ バッファー内の以前のタスクから多数の重要なデータ サンプルを選択して保存することが含まれます。
ただし、現在のメモリベースの技術の大部分は通常、単一のメモリ バッファを使用するため、新しく取得したサンプルと以前に学習したサンプルを同時に管理する際に課題が生じます。
情報処理のための迅速かつ段階的な学習メカニズムを定義する相補学習システム (CLS) 理論からインスピレーションを得て、情報理論デュアル メモリ システム (ITDMS) と呼ばれる革新的なデュアル メモリ システムを提案します。
このシステムは、一時的で新しいサンプルを保持するように設計された高速メモリ バッファと、重要で有益なサンプルの保存専用の低速メモリ バッファで構成されます。
高速メモリ バッファは、効率的なリザーバ サンプリング プロセスを使用して最適化されています。
さらに、遅いメモリ バッファに対して多様で有益なデータ サンプルを選択的に識別して保持する、新しい情報理論的なメモリ最適化戦略を導入します。
さらに、冗長な記憶サンプルを自動的に識別して削除する新しいバランスの取れたサンプル選択手順を提案します。これにより、増加する一連のタスクに対処できる新しいデータ取得用のメモリ容量が解放されます。
私たちの方法論は一連の継続的な学習実験を通じて厳密に評価され、提案されたシステムの有効性を実証する結果が得られています。

要約(オリジナル)

Continuously acquiring new knowledge from a dynamic environment is a fundamental capability for animals, facilitating their survival and ability to address various challenges. This capability is referred to as continual learning, which focuses on the ability to learn a sequence of tasks without the detriment of previous knowledge. A prevalent strategy to tackle continual learning involves selecting and storing numerous essential data samples from prior tasks within a fixed-size memory buffer. However, the majority of current memory-based techniques typically utilize a single memory buffer, which poses challenges in concurrently managing newly acquired and previously learned samples. Drawing inspiration from the Complementary Learning Systems (CLS) theory, which defines rapid and gradual learning mechanisms for processing information, we propose an innovative dual memory system called the Information-Theoretic Dual Memory System (ITDMS). This system comprises a fast memory buffer designed to retain temporary and novel samples, alongside a slow memory buffer dedicated to preserving critical and informative samples. The fast memory buffer is optimized employing an efficient reservoir sampling process. Furthermore, we introduce a novel information-theoretic memory optimization strategy that selectively identifies and retains diverse and informative data samples for the slow memory buffer. Additionally, we propose a novel balanced sample selection procedure that automatically identifies and eliminates redundant memorized samples, thus freeing up memory capacity for new data acquisitions, which can deal with a growing array of tasks. Our methodology is rigorously assessed through a series of continual learning experiments, with empirical results underscoring the effectiveness of the proposed system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google