Statistical Context Detection for Deep Lifelong Reinforcement Learning

要約

コンテキスト検出は、オンライン・ストリームのデータ・セグメントを異なるタスクに属するものとしてラベル付けすることを含む。タスク・ラベルは、生涯学習アルゴリズムにおいて、コンソリデーション（連結）や、壊滅的な忘却を防ぐための他の処理を実行するために使用される。オンライン経験からタスクラベルを推測することは、依然として困難な問題である。ほとんどのアプローチは、有限かつ低次元の観測空間、あるいはタスクラベルを学習する予備学習段階を想定している。さらに、遷移関数や報酬関数の変化は、政策との組み合わせにおいてのみ検出可能であり、したがって入力分布の変化よりも検出が困難である。本稿では、オンライン深層強化学習設定において、方針とラベルの両方を学習するアプローチを提示する。重要なアイデアは、過去と現在のストリームからのデータ点のセット間の距離を測定するために、適切な潜在的行動-報酬空間上で最適輸送法、すなわちワッサースタイン距離（Wasserstein distance）を介して得られる距離メトリックを用いることである。このような距離は、経験のシーケンスにラベルを割り当てるために適応されたコルモゴロフ・スミルノフ計算に基づく統計的検定に用いることができる。適切なデータのみが対応するポリシーの訓練に使用されることを保証することにより、複数のポリシーを学習するためのロールバック手順が導入される。タスクの検出とポリシーの展開の組み合わせにより、タスクラベルを提供するオラクルなしで生涯強化学習エージェントの最適化が可能となる。本アプローチは2つのベンチマークを用いてテストされ、その結果は、関連するコンテキスト検出アルゴリズムと比較した場合、有望な性能を示す。この結果は、最適輸送統計的手法が、生涯強化学習におけるオンラインコンテキスト検出と報酬最適化のための、説明可能で正当な手順を提供することを示唆している。

要約(オリジナル)

Context detection involves labeling segments of an online stream of data as belonging to different tasks. Task labels are used in lifelong learning algorithms to perform consolidation or other procedures that prevent catastrophic forgetting. Inferring task labels from online experiences remains a challenging problem. Most approaches assume finite and low-dimension observation spaces or a preliminary training phase during which task labels are learned. Moreover, changes in the transition or reward functions can be detected only in combination with a policy, and therefore are more difficult to detect than changes in the input distribution. This paper presents an approach to learning both policies and labels in an online deep reinforcement learning setting. The key idea is to use distance metrics, obtained via optimal transport methods, i.e., Wasserstein distance, on suitable latent action-reward spaces to measure distances between sets of data points from past and current streams. Such distances can then be used for statistical tests based on an adapted Kolmogorov-Smirnov calculation to assign labels to sequences of experiences. A rollback procedure is introduced to learn multiple policies by ensuring that only the appropriate data is used to train the corresponding policy. The combination of task detection and policy deployment allows for the optimization of lifelong reinforcement learning agents without an oracle that provides task labels. The approach is tested using two benchmarks and the results show promising performance when compared with related context detection algorithms. The results suggest that optimal transport statistical methods provide an explainable and justifiable procedure for online context detection and reward optimization in lifelong reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL