t-DGR: A Trajectory-Based Deep Generative Replay Method for Continual Learning in Decision Making

要約

ディープジェネレーティブリプレイは、意思決定タスクにおける継続的な学習のための有望なアプローチとして浮上しています。
このアプローチは、以前に遭遇したタスクからの軌跡の生成を利用して現在のデータセットを増強することにより、壊滅的な忘却の問題に対処します。
しかし、継続学習のための既存の深い生成再生手法は自己回帰モデルに依存しており、生成された軌跡で複合誤差が発生するという問題があります。
この論文では、軌道タイムステップに条件付けされたタスク サンプルを生成する生成モデルを使用した、意思決定タスクにおける継続学習のための、シンプルでスケーラブルな非自己回帰手法を提案します。
私たちは Continual World ベンチマークでメソッドを評価し、私たちのアプローチが継続的学習メソッドの中で平均成功率指標において最先端のパフォーマンスを達成していることを発見しました。
コードは https://github.com/WilliamYue37/t-DGR で入手できます。

要約(オリジナル)

Deep generative replay has emerged as a promising approach for continual learning in decision-making tasks. This approach addresses the problem of catastrophic forgetting by leveraging the generation of trajectories from previously encountered tasks to augment the current dataset. However, existing deep generative replay methods for continual learning rely on autoregressive models, which suffer from compounding errors in the generated trajectories. In this paper, we propose a simple, scalable, and non-autoregressive method for continual learning in decision-making tasks using a generative model that generates task samples conditioned on the trajectory timestep. We evaluate our method on Continual World benchmarks and find that our approach achieves state-of-the-art performance on the average success rate metric among continual learning methods. Code is available at https://github.com/WilliamYue37/t-DGR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google