Skill Set Optimization: Reinforcing Language Model Behavior via Transferable Skills

要約

大規模言語モデル(LLM)は近年、対話環境における逐次的な意思決定に利用されている。しかし、LLMアクタの継続的な改善のために環境の報酬信号を活用することは容易ではない。我々は、伝達可能なスキルのセットを構築し、洗練することによって、LLMアクタのパフォーマンスを向上させるためのスキルセット最適化（SSO）を提案する。SSOは、報酬の高い共通のサブジェクトリーを抽出し、各スキルを表すサブゴールと命令を生成することでスキルを構築します。これらのスキルはLLMアクタにインコンテクストで提供され、高い報酬を伴う行動を強化します。次に、SSOは、高い報酬をもたらし続けないスキルを刈り込むことで、スキルセットをさらに洗練させる。我々は、古典的なビデオゲームNetHackとテキスト環境ScienceWorldで我々の方法を評価し、SSOがスキルのセットを最適化し、インコンテキストポリシー改善を行う能力を実証する。SSOは我々のカスタムNetHackタスクにおいてベースラインを40%上回り、ScienceWorldにおいて35%上回った。

要約(オリジナル)

Large language models (LLMs) have recently been used for sequential decision making in interactive environments. However, leveraging environment reward signals for continual LLM actor improvement is not straightforward. We propose Skill Set Optimization (SSO) for improving LLM actor performance through constructing and refining sets of transferable skills. SSO constructs skills by extracting common subtrajectories with high rewards and generating subgoals and instructions to represent each skill. These skills are provided to the LLM actor in-context to reinforce behaviors with high rewards. Then, SSO further refines the skill set by pruning skills that do not continue to result in high rewards. We evaluate our method in the classic videogame NetHack and the text environment ScienceWorld to demonstrate SSO’s ability to optimize a set of skills and perform in-context policy improvement. SSO outperforms baselines by 40% in our custom NetHack task and outperforms the previous state-of-the-art in ScienceWorld by 35%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL