MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

要約

自律エージェントは、AtariゲームやGoなどの専門分野で大きな進歩を遂げました。
ただし、彼らは通常、限られた手動で考案された目的を持つ孤立した環境でタブララサを学習するため、幅広いタスクと機能にわたって一般化することができません。
人間がオープンワールドで継続的に学習し適応する方法に触発されて、私たちはジェネラリストエージェントを構築するための三位一体の要素を提唱します：1）多数のタスクと目標をサポートする環境、2）マルチモーダル知識の大規模データベース、および3
）柔軟でスケーラブルなエージェントアーキテクチャ。
人気のMinecraftゲームに基づいて構築された新しいフレームワークであるMineDojoを紹介します。このフレームワークは、数千の多様なオープンエンドタスクを備えたシミュレーションスイートと、Minecraftビデオ、チュートリアル、Wikiページ、フォーラムディスカッションを備えたインターネット規模のナレッジベースを備えています。
MineDojoのデータを使用して、学習した報酬関数として事前にトレーニングされた大規模なビデオ言語モデルを活用する新しいエージェント学習アルゴリズムを提案します。
私たちのエージェントは、手動で設計された高密度のシェーピング報酬なしで、自由形式の言語で指定されたさまざまな自由形式のタスクを解決できます。
シミュレーションスイートとナレッジベース（https://minedojo.org）をオープンソース化して、一般的に有能な具体化されたエージェントの目標に向けた研究を促進します。

要約(オリジナル)

Autonomous agents have made great strides in specialist domains like Atari games and Go. However, they typically learn tabula rasa in isolated environments with limited and manually conceived objectives, thus failing to generalize across a wide spectrum of tasks and capabilities. Inspired by how humans continually learn and adapt in the open world, we advocate a trinity of ingredients for building generalist agents: 1) an environment that supports a multitude of tasks and goals, 2) a large-scale database of multimodal knowledge, and 3) a flexible and scalable agent architecture. We introduce MineDojo, a new framework built on the popular Minecraft game that features a simulation suite with thousands of diverse open-ended tasks and an internet-scale knowledge base with Minecraft videos, tutorials, wiki pages, and forum discussions. Using MineDojo’s data, we propose a novel agent learning algorithm that leverages large pre-trained video-language models as a learned reward function. Our agent is able to solve a variety of open-ended tasks specified in free-form language without any manually designed dense shaping reward. We open-source the simulation suite and knowledge bases (https://minedojo.org) to promote research towards the goal of generally capable embodied agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google