Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods

要約

事前トレーニングされた広範な知識と高レベルの一般的な機能を備えた大規模言語モデル (LLM) は、マルチタスク学習、サンプル効率、高レベルのタスク計画などの側面で強化学習 (RL) を強化するための有望な手段として浮上しています。
この調査では、LLM 拡張 RL に関する既存の文献を包括的にレビューし、従来の RL 手法と比較してその特徴を要約し、研究範囲と今後の研究の方向性を明確にすることを目的としています。
古典的なエージェントと環境の相互作用パラダイムを利用して、情報プロセッサ、報酬設計者、意思決定者、生成者の 4 つの役割を含む、RL における LLM の機能を体系的に分類する構造化分類法を提案します。
役割ごとに、方法論を要約し、軽減される特定の RL の課題を分析し、将来の方向性についての洞察を提供します。
最後に、LLM で強化された RL のそれぞれの役割、潜在的なアプリケーション、将来の機会、および課題の比較分析について説明します。
この分類法を提案することで、研究者が RL 分野で LLM を効果的に活用できるフレームワークを提供し、ロボット工学、自動運転、エネルギー システムなどの複雑なアプリケーションでの RL アプリケーションを潜在的に加速することを目指しています。

要約(オリジナル)

With extensive pre-trained knowledge and high-level general capabilities, large language models (LLMs) emerge as a promising avenue to augment reinforcement learning (RL) in aspects such as multi-task learning, sample efficiency, and high-level task planning. In this survey, we provide a comprehensive review of the existing literature in LLM-enhanced RL and summarize its characteristics compared to conventional RL methods, aiming to clarify the research scope and directions for future studies. Utilizing the classical agent-environment interaction paradigm, we propose a structured taxonomy to systematically categorize LLMs’ functionalities in RL, including four roles: information processor, reward designer, decision-maker, and generator. For each role, we summarize the methodologies, analyze the specific RL challenges that are mitigated, and provide insights into future directions. Lastly, a comparative analysis of each role, potential applications, prospective opportunities, and challenges of the LLM-enhanced RL are discussed. By proposing this taxonomy, we aim to provide a framework for researchers to effectively leverage LLMs in the RL field, potentially accelerating RL applications in complex applications such as robotics, autonomous driving, and energy systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google