CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives

要約

環境に指導を根付かせることは、言語ガイドによる目標達成のための強化学習の問題を解決するための重要なステップです。
自動強化学習における主な関心事は、さまざまなタスクや環境にわたって一般化するモデルの能力を強化することです。
目標を達成するシナリオでは、タスク全体を正常に完了するために、エージェントは環境コンテキスト内の指示のさまざまな部分を理解する必要があります。
この研究では、ビデオテキスト検索文献に触発された補助損失関数と、命令追跡と呼ばれる新しい方法を使用して、この問題を解決するための新しいフレームワークとしてCAREL（クロスモーダル補助強化学習）を提案します。
環境。
私たちの実験結果は、マルチモーダル強化学習問題におけるこのフレームワークの優れたサンプル効率と体系的な一般化を示唆しています。
コードベースはここから入手できます。

要約(オリジナル)

Grounding the instruction in the environment is a key step in solving language-guided goal-reaching reinforcement learning problems. In automated reinforcement learning, a key concern is to enhance the model’s ability to generalize across various tasks and environments. In goal-reaching scenarios, the agent must comprehend the different parts of the instructions within the environmental context in order to complete the overall task successfully. In this work, we propose CAREL (Cross-modal Auxiliary REinforcement Learning) as a new framework to solve this problem using auxiliary loss functions inspired by video-text retrieval literature and a novel method called instruction tracking, which automatically keeps track of progress in an environment. The results of our experiments suggest superior sample efficiency and systematic generalization for this framework in multi-modal reinforcement learning problems. Our code base is available here.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google