Hierarchical Transformers are Efficient Meta-Reinforcement Learners

要約

強力なオンライン メタ強化学習アプローチである Hierarchical Transformers for Meta-Reinforcement Learning (HTrMRL) を紹介します。
HTrMRL は、強化学習エージェントがこれまで見たことのないタスクを効果的に実行できるようにするという課題に対処することを目的としています。
過去のエピソードが豊富な情報源としてどのように機能し、モデルが効果的に抽出して新しいコンテキストに適用するかを示します。
当社の学習済みアルゴリズムは、以前の最先端のアルゴリズムを上回る性能を備えており、汎化機能を大幅に向上させながら、より効率的なメタトレーニングを提供します。
メタワールド ベンチマークのさまざまなシミュレートされたタスクにわたって得られた実験結果は、さまざまなタスクにおいて最先端のものと比較して、学習効率と適応性が大幅に向上していることを示しています。
私たちのアプローチは、限られたデータから一般化するエージェントの能力を強化するだけでなく、より堅牢で汎用性の高い AI システムへの道も開きます。

要約(オリジナル)

We introduce Hierarchical Transformers for Meta-Reinforcement Learning (HTrMRL), a powerful online meta-reinforcement learning approach. HTrMRL aims to address the challenge of enabling reinforcement learning agents to perform effectively in previously unseen tasks. We demonstrate how past episodes serve as a rich source of information, which our model effectively distills and applies to new contexts. Our learned algorithm is capable of outperforming the previous state-of-the-art and provides more efficient meta-training while significantly improving generalization capabilities. Experimental results, obtained across various simulated tasks of the Meta-World Benchmark, indicate a significant improvement in learning efficiency and adaptability compared to the state-of-the-art on a variety of tasks. Our approach not only enhances the agent’s ability to generalize from limited data but also paves the way for more robust and versatile AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google