Integrating Curricula with Replays: Its Effects on Continual Learning

要約

人間は、新しいスキルや知識を習得するときに、カリキュラムに沿った学習と復習のプロセスに取り組みます。
この人間の学習行動は、継続学習エージェントにおけるカリキュラムとリプレイ手法の統合にインスピレーションを与えました。
目標は、人間の学習プロセスをエミュレートし、それによって知識の保持を向上させ、学習の伝達を促進することです。
継続学習エージェントにおける既存の再生方法には、以前のタスクからのデータのランダムな選択と順序付けが含まれており、これが効果的であることがわかっています。
ただし、継続的な学習を強化するために、さまざまなカリキュラムと再生方法を統合することを検討した研究は限られています。
私たちの研究では、カリキュラムと再生方法を統合することが継続学習に及ぼす影響を、3 つの特定の側面、すなわち、再生されるサンプルとトレーニング データのインターリーブ頻度、サンプルが再生される順序、および再生に含まれるサンプルを選択する戦略で検証するための最初のステップを踏みます。
バッファ。
カリキュラム設計のこれらの側面は、認知心理学の原則と一致しており、リプレイ中の交互練習、簡単なリハーサルから難しいリハーサル、および均一な難易度の分布からの模範を含む模範選択戦略の利点を活用しています。
私たちの結果に基づいて、これら 3 つのカリキュラムは壊滅的な物忘れを効果的に軽減し、積極的な知識の伝達を強化し、継続的な学習方法論を進歩させるカリキュラムの可能性を実証しました。
私たちのコードとデータは、https://github.com/ZhangLab-DeepNeuroCogLab/Integrating-Curricula-with-Replays から入手できます。

要約(オリジナル)

Humans engage in learning and reviewing processes with curricula when acquiring new skills or knowledge. This human learning behavior has inspired the integration of curricula with replay methods in continual learning agents. The goal is to emulate the human learning process, thereby improving knowledge retention and facilitating learning transfer. Existing replay methods in continual learning agents involve the random selection and ordering of data from previous tasks, which has shown to be effective. However, limited research has explored the integration of different curricula with replay methods to enhance continual learning. Our study takes initial steps in examining the impact of integrating curricula with replay methods on continual learning in three specific aspects: the interleaved frequency of replayed exemplars with training data, the sequence in which exemplars are replayed, and the strategy for selecting exemplars into the replay buffer. These aspects of curricula design align with cognitive psychology principles and leverage the benefits of interleaved practice during replays, easy-to-hard rehearsal, and exemplar selection strategy involving exemplars from a uniform distribution of difficulties. Based on our results, these three curricula effectively mitigated catastrophic forgetting and enhanced positive knowledge transfer, demonstrating the potential of curricula in advancing continual learning methodologies. Our code and data are available: https://github.com/ZhangLab-DeepNeuroCogLab/Integrating-Curricula-with-Replays

arxiv情報

提供元, 利用サービス

arxiv.jp, Google