Continual Learning of Multi-modal Dynamics with External Memory

要約

タイトル：外部メモリを使用したマルチモーダルダイナミクスの継続的学習

要約：

– 新しい振る舞いモードが順次出現する場合に、モデルをダイナミックな環境に適合させる問題を研究している。
– 学習モデルは新しいモードが出現したときに認識し、ただし個別のトレーニングシーケンスの真のモードにアクセスすることはできない。
– 現行の継続的学習アプローチは、パラメータ転送の壊滅的な干渉やエピソード記憶の設計により、この設定に対応できない。
– 私たちは、ニューラルエピソードメモリに出現したシーケンスのモードの記述を維持することによって、両方の制限を克服する新しい継続的学習方法を考案した。
– メモリの注意重みにDirichlet Process事前分布を使用して、モード記述子の効率的なストレージを促進している。
– 私たちの方法は、過去のタスクの似たモードの記述子を取得し、現在のシーケンスのモードにフィードバックすることで、タスク間の知識転送による継続的学習を実行する。
– 私たちの方法は、主流のパラメータ転送アプローチよりも有利な継続的学習パフォーマンスを示すことが観察された。

要約(オリジナル)

We study the problem of fitting a model to a dynamical environment when new modes of behavior emerge sequentially. The learning model is aware when a new mode appears, but it does not have access to the true modes of individual training sequences. The state-of-the-art continual learning approaches cannot handle this setup, because parameter transfer suffers from catastrophic interference and episodic memory design requires the knowledge of the ground-truth modes of sequences. We devise a novel continual learning method that overcomes both limitations by maintaining a descriptor of the mode of an encountered sequence in a neural episodic memory. We employ a Dirichlet Process prior on the attention weights of the memory to foster efficient storage of the mode descriptors. Our method performs continual learning by transferring knowledge across tasks by retrieving the descriptors of similar modes of past tasks to the mode of a current sequence and feeding this descriptor into its transition kernel as control input. We observe the continual learning performance of our method to compare favorably to the mainstream parameter transfer approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI