One to rule them all: natural language to bind communication, perception and action

要約

近年、人間とロボットのインタラクション分野の研究は、複雑な人間の指示を理解し、動的で多様な環境でタスクを実行できるロボットの開発に焦点を当てています。
これらのシステムは、個人支援から産業用ロボットまで幅広い用途があり、ロボットが人間と柔軟に、自然に、安全に対話することの重要性が強調されています。
この論文では、コミュニケーション、認識、大規模言語モデル (LLM) を使用した計画を統合するロボット動作計画のための高度なアーキテクチャを紹介します。
当社のシステムは、自然言語で表現されたコマンドを実行可能なロボットの動作に変換し、環境情報を組み込み、リアルタイムのフィードバックに基づいて計画を動的に更新するように設計されています。
Planner モジュールはシステムの中核であり、修正された ReAct フレームワークに埋め込まれた LLM がユーザー コマンドを解釈して実行するために使用されます。
LLM は、事前にトレーニングされた広範な知識を活用することで、環境の変化に関する新しい知識を導入することなく、ユーザーのリクエストを効果的に処理できます。
修正された ReAct フレームワークは、リアルタイムの環境認識と物理的アクションの結果を提供することで、実行空間をさらに強化します。
このアーキテクチャは、グラフとしての堅牢かつ動的なセマンティック マップ表現を制御コンポーネントや障害の説明と組み合わせることで、共有された動的な環境におけるロボットの適応性、タスクの実行、および人間のユーザーとのシームレスなコラボレーションを強化します。
継続的なフィードバック ループと環境の統合を通じて、システムは予期せぬ変化に対応するために計画を動的に調整し、タスクを実行するロボットの能力を最適化できます。
以前の経験のデータセットを使用すると、失敗に関する詳細なフィードバックを提供できます。
問題を克服する方法についての提案を含めて、次の反復の LLM コンテキストを更新します。

要約(オリジナル)

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google