Action Inference by Maximising Evidence: Zero-Shot Imitation from Observation with World Models

要約

新しい行動を学習するために非現実的な量の環境との相互作用を必要とするほとんどの強化学習エージェントとは異なり、人間は他人を観察し、模倣するだけで素早く学習することに秀でている。この能力は、観察された行動を導いた最も可能性の高い行動を推測することを可能にする、人間自身の体現モデルを持っているという事実に大きく依存している。本稿では、世界モデルを用いてこの行動を再現するために、Action Inference by Maximising Evidence（AIME）を提案する。AIMEは2つの異なるフェーズから構成される。第一段階では、エージェントはELBOを最大化することにより、自身の身体を理解するために、過去の経験から世界モデルを学習する。第2のフェーズでは、エージェントは新しいタスクを実行する専門家の観察のみのデモンストレーションを与えられ、専門家の行動を模倣しようとする。AIMEは、推論モデルとしてポリシーを定義し、ポリシーとワールドモデルの下でデモのエビデンスを最大化することでこれを実現する。我々の手法は「ゼロショット」であり、実演が与えられた後に、世界モデルの更なる訓練や環境とのオンラインインタラクションを必要としない。我々は、DeepMind Control SuiteのWalkerとCheetahの実施形態で、本手法のゼロショット模倣性能を実証的に検証し、最先端のベースラインを上回ることを見出した。コードはhttps://github.com/argmax-ai/aime。

要約(オリジナル)

Unlike most reinforcement learning agents which require an unrealistic amount of environment interactions to learn a new behaviour, humans excel at learning quickly by merely observing and imitating others. This ability highly depends on the fact that humans have a model of their own embodiment that allows them to infer the most likely actions that led to the observed behaviour. In this paper, we propose Action Inference by Maximising Evidence (AIME) to replicate this behaviour using world models. AIME consists of two distinct phases. In the first phase, the agent learns a world model from its past experience to understand its own body by maximising the ELBO. While in the second phase, the agent is given some observation-only demonstrations of an expert performing a novel task and tries to imitate the expert’s behaviour. AIME achieves this by defining a policy as an inference model and maximising the evidence of the demonstration under the policy and world model. Our method is ‘zero-shot’ in the sense that it does not require further training for the world model or online interactions with the environment after given the demonstration. We empirically validate the zero-shot imitation performance of our method on the Walker and Cheetah embodiment of the DeepMind Control Suite and find it outperforms the state-of-the-art baselines. Code is available at: https://github.com/argmax-ai/aime.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL