Learning to Learn: How to Continuously Teach Humans and Machines

要約

私たちの教育システムは、一連のカリキュラムで構成されています。
たとえば、学校で数学を学ぶとき、足し算、掛け算、積分の順に学習します。
人間または機械のいずれかを教えるためのカリキュラムを描くことは、初期のタスクから後のタスクへの積極的な知識の伝達を最大化し、初期のタスクの忘れを最小限に抑えるという基本的な目標を共有しています。
ここでは、アルゴリズムがデータの連続ストリームから一度に 1 つずつクラスを学習する必要があるクラスインクリメンタル設定で、既存の継続学習アルゴリズムに対するカリキュラムの影響を徹底的に調査しました。
可能性のあるクラス順序 (カリキュラム) の幅全体で、カリキュラムは情報の保持に影響を与え、この効果は単なる確率論の産物ではないことを観察しました。
さらに、カリキュラム設計の自動化に向けた主要な取り組みとして、クラス間の特徴の類似性に基づいて効果的なカリキュラムを設計およびランク付けできる方法を提案しました。
予測されたカリキュラムを経験的に決定された効果的なカリキュラムと比較し、両者の間に有意な重複が観察されました。
カリキュラム デザイナーの研究をサポートするために、一連の人間心理物理実験を実施し、オブジェクト認識における新しい継続的学習ベンチマークに貢献しました。
人間と機械の間の効果的なカリキュラムにおける一致の程度を評価しました。
驚くべきことに、私たちのカリキュラム デザイナーは、人間の学習に効果的な最適なカリキュラム セットを予測することに成功しました。
タイムリーな学生のフィードバックや複数のモダリティによる学習など、カリキュラムの設計には多くの考慮事項があります。
私たちの研究は、継続的に学習することを人間と機械に教えるという問題に取り組むコミュニティの標準的な枠組みを設定する最初の試みです。

要約(オリジナル)

Our education system comprises a series of curricula. For example, when we learn mathematics at school, we learn in order from addition, to multiplication, and later to integration. Delineating a curriculum for teaching either a human or a machine shares the underlying goal of maximizing the positive knowledge transfer from early to later tasks and minimizing forgetting of the early tasks. Here, we exhaustively surveyed the effect of curricula on existing continual learning algorithms in the class-incremental setting, where algorithms must learn classes one at a time from a continuous stream of data. We observed that across a breadth of possible class orders (curricula), curricula influence the retention of information and that this effect is not just a product of stochasticity. Further, as a primary effort toward automated curriculum design, we proposed a method capable of designing and ranking effective curricula based on inter-class feature similarities. We compared the predicted curricula against empirically determined effectual curricula and observed significant overlaps between the two. To support the study of a curriculum designer, we conducted a series of human psychophysics experiments and contributed a new Continual Learning benchmark in object recognition. We assessed the degree of agreement in effective curricula between humans and machines. Surprisingly, our curriculum designer successfully predicts an optimal set of curricula that is effective for human learning. There are many considerations in curriculum design, such as timely student feedback and learning with multiple modalities. Our study is the first attempt to set a standard framework for the community to tackle the problem of teaching humans and machines to learn to learn continuously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google