CERiL: Continuous Event-based Reinforcement Learning

要約

このホワイト ペーパーでは、連続時間強化学習を可能にするイベント カメラの可能性を探ります。
同期されていない観測の連続ストリームを使用して、環境の出力アクションの対応するストリームを生成するこの問題を形式化します。
この同期の欠如により、反応性が大幅に向上します。
標準の RL 環境から派生したイベント ストリームでトレーニングする方法を提示し、それによって提案された連続時間 RL 問題を解決します。
CERiL アルゴリズムは、イベントを量子化された画像フレームに集約するのではなく、イベント ストリームで直接動作する特殊なネットワーク レイヤーを使用します。
頻度の低い RGB 画像に対するイベント ストリームの利点を示します。
提案されたシステムは、RL で通常使用されるネットワークよりも優れており、従来は解決できなかったタスクでも成功しています。
また、イベント ストリームを使用して、標準の SNN ベースラインに対する CERiL アプローチの価値を示します。

要約(オリジナル)

This paper explores the potential of event cameras to enable continuous time reinforcement learning. We formalise this problem where a continuous stream of unsynchronised observations is used to produce a corresponding stream of output actions for the environment. This lack of synchronisation enables greatly enhanced reactivity. We present a method to train on event streams derived from standard RL environments, thereby solving the proposed continuous time RL problem. The CERiL algorithm uses specialised network layers which operate directly on an event stream, rather than aggregating events into quantised image frames. We show the advantages of event streams over less-frequent RGB images. The proposed system outperforms networks typically used in RL, even succeeding at tasks which cannot be solved traditionally. We also demonstrate the value of our CERiL approach over a standard SNN baseline using event streams.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google