Deploying Offline Reinforcement Learning with Human Feedback

要約

強化学習 (RL) は、実際のアプリケーションでの意思決定タスクに有望であることが示されています。
実用的なフレームワークの 1 つは、パラメータ化されたポリシー モデルをオフライン データセットからトレーニングし、その後オンライン環境に展開することです。
ただし、オフライン トレーニングは完全ではない可能性があり、RL モデルのパフォーマンスが低下し、危険なアクションを実行する可能性があるため、このアプローチは危険です。
この問題に対処するために、RL モデルを監督し、オンライン展開フェーズで追加のフィードバックを提供する人間を含む代替フレームワークを提案します。
このオンライン展開の問題を形式化し、2 つのアプローチを開発します。
最初のアプローチでは、モデル選択と信頼上限アルゴリズムを使用して、トレーニング済みのオフライン RL モデルの候補セットから展開するモデルを適応的に選択します。
2 番目のアプローチでは、監視信号が到着したときに、オンライン展開フェーズでモデルを微調整します。
経験的検証を通じて、ロボットの移動制御と信号機制御タスクに対するこれらのアプローチの有効性を示します。

要約(オリジナル)

Reinforcement learning (RL) has shown promise for decision-making tasks in real-world applications. One practical framework involves training parameterized policy models from an offline dataset and subsequently deploying them in an online environment. However, this approach can be risky since the offline training may not be perfect, leading to poor performance of the RL models that may take dangerous actions. To address this issue, we propose an alternative framework that involves a human supervising the RL models and providing additional feedback in the online deployment phase. We formalize this online deployment problem and develop two approaches. The first approach uses model selection and the upper confidence bound algorithm to adaptively select a model to deploy from a candidate set of trained offline RL models. The second approach involves fine-tuning the model in the online deployment phase when a supervision signal arrives. We demonstrate the effectiveness of these approaches for robot locomotion control and traffic light control tasks through empirical validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google