Semantic Exploration from Language Abstractions and Pretrained Representations

要約

タイトル：自然言語の抽象化と事前学習表現からの意味的探索

要約：

– 強化学習において、有効な探索は難しい課題である。
– 新奇性に基づく探索方法は、3D環境のような高次元の状態空間では正確に動作せず、成功しない場合がある。
– 自然言語によって形成された学習済み表現によって意味的な状態の抽象化を定義することで、この課題に取り組むことができる。
– 特に、自然画像キャプションのデータセットで事前に学習された視覚言語表現を評価する。
– 事前学習表現を使用することで、意味的でタスクと関連性のある探索を行い、3Dシミュレーション環境での性能を向上させることができることを示す。
– 事前モデルからの表現、言語オラクル、およびいくつかの減衰を使用することで、言語が探索に有用な抽象化を提供する理由と方法についても考察する。
– 日常の物体の識別や操作を強調するタスクドメインと、広大な世界での航法的探索を必要とするタスクドメインの2つの異なるタスクドメインで、アプローチの利点を示す。
– 結果から、言語によって形成された表現を使用することで、さまざまなアルゴリズムやエージェントにとって、挑戦的な環境での探索を改善できることが示唆される。

要約(オリジナル)

Effective exploration is a challenge in reinforcement learning (RL). Novelty-based exploration methods can suffer in high-dimensional state spaces, such as continuous partially-observable 3D environments. We address this challenge by defining novelty using semantically meaningful state abstractions, which can be found in learned representations shaped by natural language. In particular, we evaluate vision-language representations, pretrained on natural image captioning datasets. We show that these pretrained representations drive meaningful, task-relevant exploration and improve performance on 3D simulated environments. We also characterize why and how language provides useful abstractions for exploration by considering the impacts of using representations from a pretrained model, a language oracle, and several ablations. We demonstrate the benefits of our approach in two very different task domains — one that stresses the identification and manipulation of everyday objects, and one that requires navigational exploration in an expansive world. Our results suggest that using language-shaped representations could improve exploration for various algorithms and agents in challenging environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI