Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees

要約

人間と AI のポリシー仕様は、人間が協力してロボットの強化学習ポリシーをウォームスタートできるように定義する新しい手順です。
この手順は 2 つのステップで構成されます。
(1) ポリシーの仕様、つまり人間がコンパニオン ロボットに達成させたい動作を指定する、(2) ポリシーの最適化、つまりロボットが強化学習を適用して初期ポリシーを改善する。
協調的なポリシー仕様を可能にする既存のアプローチは、理解できないブラックボックス手法であることが多く、初心者のエンドユーザーが自律システムにアクセスできるようにすることを目的としていません。
この論文では、人間が自律エージェントの動作を初期化して解釈できるようにする新しい協調フレームワークを開発します。
私たちのフレームワークを通じて、人間が非構造化自然言語 (NL) を介して初期動作モデルを指定できるようにし、それを語彙決定木に変換します。
次に、これらの翻訳された仕様を利用して強化学習をウォームスタートし、エージェントがこれらの最適ではない可能性のあるポリシーをさらに最適化できるようにします。
私たちのアプローチでは、追加のドメイン探索コストを発生させることなく、専門家ではない自然言語仕様を利用して RL エージェントをウォーム スタートします。
私たちのモデルが 80% を超える翻訳精度を実現できること、および人間によって初期化されたポリシーが 2 つのドメインの関連する RL ベースラインのパフォーマンスと一致できることを示すことで、アプローチを検証します。

要約(オリジナル)

Human-AI policy specification is a novel procedure we define in which humans can collaboratively warm-start a robot’s reinforcement learning policy. This procedure is comprised of two steps; (1) Policy Specification, i.e. humans specifying the behavior they would like their companion robot to accomplish, and (2) Policy Optimization, i.e. the robot applying reinforcement learning to improve the initial policy. Existing approaches to enabling collaborative policy specification are often unintelligible black-box methods, and are not catered towards making the autonomous system accessible to a novice end-user. In this paper, we develop a novel collaborative framework to allow humans to initialize and interpret an autonomous agent’s behavior. Through our framework, we enable humans to specify an initial behavior model via unstructured, natural language (NL), which we convert to lexical decision trees. Next, we leverage these translated specifications, to warm-start reinforcement learning and allow the agent to further optimize these potentially suboptimal policies. Our approach warm-starts an RL agent by utilizing non-expert natural language specifications without incurring the additional domain exploration costs. We validate our approach by showing that our model is able to produce >80% translation accuracy, and that policies initialized by a human can match the performance of relevant RL baselines in two domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google