E2Map: Experience-and-Emotion Map for Self-Reflective Robot Navigation with Language Models

要約

大規模な言語モデル（LLM）は、ロボット操作やナビゲーションなど、さまざまなタスクにわたって言語命令を実行するための具体化されたエージェントをガイドする際に大きな可能性を示しています。
ただし、既存の方法は主に静的環境向けに設計されており、エージェント自身の経験を活用して初期計画を改良しません。
現実世界の環境は本質的に確率的であることを考えると、LLMSの一般的な知識のみに基づいた初期計画は、静的シナリオとは異なり、目標を達成できない可能性があります。
この制限に対処するために、この研究では、LLMの知識だけでなく、エージェントの実際の体験も統合し、人間の感情的な反応からインスピレーションを引き出すエージェントの知識を統合する経験と感情のマップ（E2MAP）を紹介します。
提案された方法論により、エージェントの経験に基づいてE2MAPを更新することにより、ワンショットの動作調整が可能になります。
シミュレーションと実際のシナリオの両方を含む確率的ナビゲーション環境での評価は、提案された方法が既存のLLMベースのアプローチと比較して確率的環境でのパフォーマンスを大幅に向上させることを示しています。
コードと補足資料は、https：//e2map.github.io/で入手できます。

要約(オリジナル)

Large language models (LLMs) have shown significant potential in guiding embodied agents to execute language instructions across a range of tasks, including robotic manipulation and navigation. However, existing methods are primarily designed for static environments and do not leverage the agent’s own experiences to refine its initial plans. Given that real-world environments are inherently stochastic, initial plans based solely on LLMs’ general knowledge may fail to achieve their objectives, unlike in static scenarios. To address this limitation, this study introduces the Experience-and-Emotion Map (E2Map), which integrates not only LLM knowledge but also the agent’s real-world experiences, drawing inspiration from human emotional responses. The proposed methodology enables one-shot behavior adjustments by updating the E2Map based on the agent’s experiences. Our evaluation in stochastic navigation environments, including both simulations and real-world scenarios, demonstrates that the proposed method significantly enhances performance in stochastic environments compared to existing LLM-based approaches. Code and supplementary materials are available at https://e2map.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google