Octopus: Embodied Vision-Language Programmer from Environmental Feedback

要約

大規模ビジョン言語モデル (VLM) は、マルチモーダルな知覚と推論において大幅な進歩を達成しました。
さらに、具体化されたエージェントにシームレスに統合されると、計画を策定し、コマンドを正確に実行できる自律的でコンテキスト認識型のシステムの作成に向けた重要な進歩を意味します。
このペーパーでは、エージェントのビジョンとテキストのタスク目標を適切に解読し、複雑なアクション シーケンスを定式化して実行可能コードを生成するように設計された新しい VLM である Octopus を紹介します。
私たちの設計により、エージェントは、シミュレーターでの日常的な雑用から複雑なビデオ ゲームでの洗練されたインタラクションに至るまで、幅広いタスクを適切に処理できます。
Octopus は、GPT-4 を利用して探索エージェントを制御し、OctoVerse と呼ばれる実験環境内でトレーニング データ (アクション ブループリントと対応する実行可能コード) を生成することによってトレーニングされます。
また、環境フィードバックによる強化学習 (RLEF) の強化されたトレーニング スキームを可能にするフィードバックも収集します。
一連の実験を通じて、私たちは Octopus の機能を解明し、説得力のある結果を提示しました。提案された RLEF は、エージェントの意思決定を洗練するものであることが判明しました。
モデル アーキテクチャ、シミュレーター、データセットをオープンソース化することで、私たちはさらなるイノベーションを引き起こし、より広範な体現型 AI コミュニティ内で協調的なアプリケーションを促進することを目指しています。

要約(オリジナル)

Large vision-language models (VLMs) have achieved substantial progress in multimodal perception and reasoning. Furthermore, when seamlessly integrated into an embodied agent, it signifies a crucial stride towards the creation of autonomous and context-aware systems capable of formulating plans and executing commands with precision. In this paper, we introduce Octopus, a novel VLM designed to proficiently decipher an agent’s vision and textual task objectives and to formulate intricate action sequences and generate executable code. Our design allows the agent to adeptly handle a wide spectrum of tasks, ranging from mundane daily chores in simulators to sophisticated interactions in complex video games. Octopus is trained by leveraging GPT-4 to control an explorative agent to generate training data, i.e., action blueprints and the corresponding executable code, within our experimental environment called OctoVerse. We also collect the feedback that allows the enhanced training scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a series of experiments, we illuminate Octopus’s functionality and present compelling results, and the proposed RLEF turns out to refine the agent’s decision-making. By open-sourcing our model architecture, simulator, and dataset, we aspire to ignite further innovation and foster collaborative applications within the broader embodied AI community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google