Semantic HELM: A Human-Readable Memory for Reinforcement Learning

要約

現実世界に導入された強化学習エージェントは、多くの場合、部分的に観測可能な環境に対処する必要があります。
したがって、ほとんどのエージェントは、環境の状態を近似するためにメモリ メカニズムを採用しています。
最近、主に Dota 2、StarCraft II、または MineCraft などのコンピューター ゲームの分野で、部分的に観測可能な環境をマスターするという印象的な成功事例があります。
しかし、既存の方法は、エージェントがメモリに何を保存しているかを人間が理解できないという意味で、解釈可能性に欠けています。
これに関して、我々は過去の出来事を人間の言語で表現する新しい記憶メカニズムを提案します。
私たちの方法では、CLIP を使用して視覚入力を言語トークンに関連付けます。
次に、これらのトークンを、エージェントに記憶として機能し、人間が判読できる一貫した過去の表現を提供する事前トレーニング済みの言語モデルにフィードします。
一連の部分的に観測可能な環境でメモリ メカニズムをトレーニングしたところ、メモリ コンポーネントを必要とするタスクでは優れている一方、メモリ コンポーネントを必要としないタスクでは強力なベースラインと同等のパフォーマンスをほぼ達成していることがわかりました。
過去を記憶することが重要である困難な連続認識タスクでは、当社の記憶メカニズムは従来の方法よりも 2 桁速く収束します。
私たちの記憶メカニズムは人間が判読できるため、エージェントの記憶を覗いて、重要な情報が保存されているかどうかを確認できます。
これにより、トラブルシューティングが大幅に強化され、より解釈しやすいエージェントへの道が開かれます。

要約(オリジナル)

Reinforcement learning agents deployed in the real world often have to cope with partially observable environments. Therefore, most agents employ memory mechanisms to approximate the state of the environment. Recently, there have been impressive success stories in mastering partially observable environments, mostly in the realm of computer games like Dota 2, StarCraft II, or MineCraft. However, existing methods lack interpretability in the sense that it is not comprehensible for humans what the agent stores in its memory. In this regard, we propose a novel memory mechanism that represents past events in human language. Our method uses CLIP to associate visual inputs with language tokens. Then we feed these tokens to a pretrained language model that serves the agent as memory and provides it with a coherent and human-readable representation of the past. We train our memory mechanism on a set of partially observable environments and find that it excels on tasks that require a memory component, while mostly attaining performance on-par with strong baselines on tasks that do not. On a challenging continuous recognition task, where memorizing the past is crucial, our memory mechanism converges two orders of magnitude faster than prior methods. Since our memory mechanism is human-readable, we can peek at an agent’s memory and check whether crucial pieces of information have been stored. This significantly enhances troubleshooting and paves the way toward more interpretable agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google