A Minimal Approach for Natural Language Action Space in Text-based Games

要約

タイトル：テキストベースゲームにおける自然言語のアクションスペースに対する最小限のアプローチ

要約：

– テキストベースゲーム（TG）は強化学習のための言語ベースのインタラクティブな環境である。
– 大きなアクションスペースを扱うために、言語モデル（LM）や知識グラフ（KG）が一般的に使用されているが、これらの技術が必要かどうかは不明である。
– 本論文では、TGにおけるアクションスペースの探索の課題に取り組み、トレーニングフェーズで利用可能なアクションを最小のアプローチとして提示する$ \epsilon$-admissible explorationを提案する。
– 加えて、我々はタコアクターとクリティック（TAC）エージェントを提案する。このエージェントは、KGやLMを必要とせず、ゲームの観察からゲームのコマンドをテキストベースで生成する。
– Jerichoの10のゲームにおいて、我々の方法は強力なベースラインや現在の技術よりも優れたパフォーマンスを達成する。
– 本研究は、環境内の情報を利用する新しい視点を持つ、はるかに軽量なモデル設計で、指数関数的に大きなアクションスペースの効果的な探索に十分であることを示している。

要約(オリジナル)

Text-based games (TGs) are language-based interactive environments for reinforcement learning. While language models (LMs) and knowledge graphs (KGs) are commonly used for handling large action space in TGs, it is unclear whether these techniques are necessary or overused. In this paper, we revisit the challenge of exploring the action space in TGs and propose $ \epsilon$-admissible exploration, a minimal approach of utilizing admissible actions, for training phase. Additionally, we present a text-based actor-critic (TAC) agent that produces textual commands for game, solely from game observations, without requiring any KG or LM. Our method, on average across 10 games from Jericho, outperforms strong baselines and state-of-the-art agents that use LM and KG. Our approach highlights that a much lighter model design, with a fresh perspective on utilizing the information within the environments, suffices for an effective exploration of exponentially large action spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI