OCALM: Object-Centric Assessment with Language Models

要約

報酬信号を適切に定義して強化学習 (RL) エージェントを効率的にトレーニングすることは、困難な作業です。
望ましい動作を生み出すためのバランスのとれた目的関数を設計するには、特に複雑な環境では専門知識が必要です。
人間のフィードバックから報酬を学習するか、大規模言語モデル (LLM) を使用して報酬を直接提供することは、有望な代替手段であり、専門家でなくてもエージェントの目標を指定できるようになります。
ただし、ブラックボックス報酬モデルでは、報酬のデバッグが困難になります。
この研究では、自然言語タスクの記述から RL エージェントに対して本質的に解釈可能な報酬関数を導出する言語モデルによるオブジェクト中心評価 (OCALM) を提案します。
OCALM は、LLM の広範な世界知識を使用しながら、多くの環境に共通するオブジェクト中心の性質を活用して、リレーショナル概念に焦点を当てた報酬関数を導出し、RL エージェントにタスクの説明からポリシーを導出する機能を提供します。

要約(オリジナル)

Properly defining a reward signal to efficiently train a reinforcement learning (RL) agent is a challenging task. Designing balanced objective functions from which a desired behavior can emerge requires expert knowledge, especially for complex environments. Learning rewards from human feedback or using large language models (LLMs) to directly provide rewards are promising alternatives, allowing non-experts to specify goals for the agent. However, black-box reward models make it difficult to debug the reward. In this work, we propose Object-Centric Assessment with Language Models (OCALM) to derive inherently interpretable reward functions for RL agents from natural language task descriptions. OCALM uses the extensive world-knowledge of LLMs while leveraging the object-centric nature common to many environments to derive reward functions focused on relational concepts, providing RL agents with the ability to derive policies from task descriptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google