Reinforcement Learning Friendly Vision-Language Model for Minecraft

要約

AI 研究コミュニティにおける重要な使命の 1 つは、幅広いタスクにわたって高レベルのパフォーマンスを達成できる自律的な身体化エージェントを構築することです。
ただし、すべての無制限のタスクに対して報酬を取得したり、手動で設計したりすることは非現実的です。
この論文では、オープンエンドのタスクに対する固有の報酬関数として機能する、強化学習 (RL) に適した視覚言語モデル (VLM) を学習することを目的とした、新しいクロスモーダル対比学習フレームワーク アーキテクチャ CLIP4MC を提案します。
標準の VLM は類似性を大まかなレベルでしか取得できないため、ビデオ スニペットと言語プロンプトの間の類似性を単純に利用することは RL には適していません。
RL フレンドリー性を実現するために、タスクの完了度を VLM トレーニング目標に組み込みます。この情報は、エージェントがさまざまな状態間の重要性を区別するのに役立ちます。
さらに、MineDojo が提供する大規模な YouTube データベースに基づいたきれいな YouTube データセットを提供します。
具体的には、2 ラウンドのフィルタリング操作により、データセットが重要な情報を十分にカバーし、ビデオとテキストのペアの相関性が高いことが保証されます。
経験的に、提案された方法がベースラインと比較して RL タスクで優れたパフォーマンスを達成することを示します。
コードとデータセットは https://github.com/PKU-RL/CLIP4MC で入手できます。

要約(オリジナル)

One of the essential missions in the AI research community is to build an autonomous embodied agent that can achieve high-level performance across a wide spectrum of tasks. However, acquiring or manually designing rewards for all open-ended tasks is unrealistic. In this paper, we propose a novel cross-modal contrastive learning framework architecture, CLIP4MC, aiming to learn a reinforcement learning (RL) friendly vision-language model (VLM) that serves as an intrinsic reward function for open-ended tasks. Simply utilizing the similarity between the video snippet and the language prompt is not RL-friendly since standard VLMs may only capture the similarity at a coarse level. To achieve RL-friendliness, we incorporate the task completion degree into the VLM training objective, as this information can assist agents in distinguishing the importance between different states. Moreover, we provide neat YouTube datasets based on the large-scale YouTube database provided by MineDojo. Specifically, two rounds of filtering operations guarantee that the dataset covers enough essential information and that the video-text pair is highly correlated. Empirically, we demonstrate that the proposed method achieves better performance on RL tasks compared with baselines. The code and datasets are available at https://github.com/PKU-RL/CLIP4MC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google