Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

要約

現実世界のシナリオでは、身体化されたエージェントが人間の言語を活用して学習タスクのための明示的または暗黙的な知識を得る能力を持つことが望ましいです。
最近の進歩にもかかわらず、以前のアプローチのほとんどは、言語入力として単純な低レベルの命令を採用しており、人間の自然なコミュニケーションを反映していない可能性があります。
課題学習を促進するために豊かな言語使用を組み込む方法は明らかではありません。
この疑問に対処するために、この論文では、強化学習 (RL) を体現したエージェントを促進する際のさまざまなタイプの言語入力を研究します。
より具体的には、さまざまなレベルの言語の情報提供性 (つまり、過去の行動や将来の指導に関するフィードバック) と多様性 (つまり、言語表現のバリエーション) がエージェントの学習と推論にどのような影響を与えるかを調査します。
4 つの RL ベンチマークに基づく実証結果は、多様で有益な言語フィードバックで訓練されたエージェントが、汎化の強化と新しいタスクへの迅速な適応を達成できることを示しています。
これらの発見は、オープンワールドで実体を持つエージェントに新しいタスクを教える際の言語使用の極めて重要な役割を強調しています。
プロジェクト Web サイト: https://github.com/sled-group/Teachable_RL

要約(オリジナル)

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It’s not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google