Multimodal foundation world models for generalist embodied agents

要約

さまざまなドメインで多数のタスクを解決できるジェネラリストの身体化エージェントを学習することは、長年の課題です。
強化学習 (RL) は、タスクごとに複雑な報酬設計が必要なため、スケールアップすることが困難です。
対照的に、言語はより自然な方法でタスクを指定できます。
現在の基盤のビジョン言語モデル (VLM) は、一般に、ドメインのギャップが大きいため、機能するには微調整またはその他の適応が必要です。
ただし、このようなドメインではマルチモーダル データが不足しているため、具体化されたアプリケーションの基礎モデルを開発する際の障害となります。
この研究では、言語注釈なしで基盤 VLM の表現を RL の生成ワールド モデルの潜在空間に接続して位置合わせできるマルチモーダル基盤ワールド モデルを提示することで、これらの問題を克服しました。
結果として得られるエージェント学習フレームワークである GenRL により、視覚および/または言語プロンプトを通じてタスクを指定し、それらを身体化されたドメインのダイナミクスに根付かせ、想像力の中で対応する行動を学習することができます。
大規模なマルチタスク ベンチマークを通じて評価されたように、GenRL はいくつかの移動および操作ドメインで強力なマルチタスク汎化パフォーマンスを示します。
さらに、データフリー RL 戦略を導入することにより、ジェネラリストの身体化エージェント向けの基礎モデルベースの RL の基礎が築かれます。

要約(オリジナル)

Learning generalist embodied agents, able to solve multitudes of tasks in different domains is a long-standing problem. Reinforcement learning (RL) is hard to scale up as it requires a complex reward design for each task. In contrast, language can specify tasks in a more natural way. Current foundation vision-language models (VLMs) generally require fine-tuning or other adaptations to be functional, due to the significant domain gap. However, the lack of multimodal data in such domains represents an obstacle toward developing foundation models for embodied applications. In this work, we overcome these problems by presenting multimodal foundation world models, able to connect and align the representation of foundation VLMs with the latent space of generative world models for RL, without any language annotations. The resulting agent learning framework, GenRL, allows one to specify tasks through vision and/or language prompts, ground them in the embodied domain’s dynamics, and learns the corresponding behaviors in imagination. As assessed through large-scale multi-task benchmarking, GenRL exhibits strong multi-task generalization performance in several locomotion and manipulation domains. Furthermore, by introducing a data-free RL strategy, it lays the groundwork for foundation model-based RL for generalist embodied agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google