In-Context Reinforcement Learning for Variable Action Spaces

要約

最近、マルチエピソードコンテキストを持つ多様なデータセットで事前トレーニングされたトランスフォーマーは、コンテキスト内の新しい強化学習タスクに一般化できることが示されました。
以前に提案されたモデルの主な制限は、事前定義されたアクション空間のサイズと構造に依存していることです。
新しいアクション スペースの導入にはデータの再収集とモデルの再トレーニングが必要になることが多く、アプリケーションによってはコストがかかる場合があります。
私たちの研究では、ヘッドレス AD モデルを提案することで、この問題を軽減できることを示しました。このモデルは、一度だけトレーニングされたにもかかわらず、可変サイズ、セマンティックな内容、および順序の個別のアクション空間に一般化することができます。
ベルヌーイとコンテキスト バンディット、およびグリッドワールド環境を実験することで、Headless-AD がこれまで遭遇したことのないアクション スペースに一般化する重要な機能を示し、いくつかの環境構成で特定のアクション セット用にトレーニングされた特殊なモデルを上回るパフォーマンスを発揮することさえ示しました。

要約(オリジナル)

Recently, it has been shown that transformers pre-trained on diverse datasets with multi-episode contexts can generalize to new reinforcement learning tasks in-context. A key limitation of previously proposed models is their reliance on a predefined action space size and structure. The introduction of a new action space often requires data re-collection and model re-training, which can be costly for some applications. In our work, we show that it is possible to mitigate this issue by proposing the Headless-AD model that, despite being trained only once, is capable of generalizing to discrete action spaces of variable size, semantic content and order. By experimenting with Bernoulli and contextual bandits, as well as a gridworld environment, we show that Headless-AD exhibits significant capability to generalize to action spaces it has never encountered, even outperforming specialized models trained for a specific set of actions on several environment configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google