Chat with the Environment: Interactive Multimodal Perception Using Large Language Models

要約

複雑な世界でロボットの動作をプログラミングするには、器用な低レベルのスキルから高レベルの計画や推論に至るまで、さまざまなレベルの課題に直面します。
最近の事前トレーニング済み大規模言語モデル (LLM) は、数ショットのロボット計画において顕著な推論能力を示しています。
しかし、ロボットがその環境と相互作用し、政策の展開に応じて新しい情報を取得できるようにしながら、マルチモーダルな感覚入力と継続的な動作出力において LLM を確立することは依然として困難です。
私たちは、部分的に観察可能な状態を備えたロボット対話シナリオを開発します。これには、ロボットがタスクを正しく実行できるようになる前に、複数のモダリティの間で感覚情報をサンプリングするために、認識論的なアクションの範囲を決定する必要があります。
したがって、インタラクティブな知覚フレームワークである Matcha (マルチモーダル環境チャット) エージェントは、LLM をバックボーンとして提案されており、その能力は、認識的アクションを指示し、結果として生じるマルチモーダルな感覚 (視覚、聴覚、触覚、固有受容) を推論するために利用されます。
インタラクティブに取得した情報に基づいてタスク全体の実行を計画することもできます。
私たちの研究は、LLM が高度な計画と推論スキルを提供し、マルチモーダル環境でインタラクティブなロボットの動作を制御できる一方、環境状態のコンテキストを備えたマルチモーダル モジュールが LLM の基盤を確立し、その処理能力を拡張するのに役立つことを示しています。
プロジェクトの Web サイトは https://matcha-agent.github.io にあります。

要約(オリジナル)

Programming robot behavior in a complex world faces challenges on multiple levels, from dextrous low-level skills to high-level planning and reasoning. Recent pre-trained Large Language Models (LLMs) have shown remarkable reasoning ability in few-shot robotic planning. However, it remains challenging to ground LLMs in multimodal sensory input and continuous action output, while enabling a robot to interact with its environment and acquire novel information as its policies unfold. We develop a robot interaction scenario with a partially observable state, which necessitates a robot to decide on a range of epistemic actions in order to sample sensory information among multiple modalities, before being able to execute the task correctly. Matcha (Multimodal environment chatting) agent, an interactive perception framework, is therefore proposed with an LLM as its backbone, whose ability is exploited to instruct epistemic actions and to reason over the resulting multimodal sensations (vision, sound, haptics, proprioception), as well as to plan an entire task execution based on the interactively acquired information. Our study demonstrates that LLMs can provide high-level planning and reasoning skills and control interactive robot behavior in a multimodal environment, while multimodal modules with the context of the environmental state help ground the LLMs and extend their processing ability. The project website can be found at https://matcha-agent.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google