ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

要約

ロボット オペレーティング システム (ROS) からの自然言語プロンプトとコンテキスト情報を活用して、専門家でなくても直感的にロボット プログラミングできるフレームワークを紹介します。
当社のシステムは大規模言語モデル (LLM) を統合しており、専門家でなくてもチャット インターフェイスを通じてタスク要件をシステムに明確に伝えることができます。
このフレームワークの主な機能には、多数のオープンソースおよび商用 LLM に接続された AI エージェントと ROS の統合、LLM 出力からの動作の自動抽出と ROS アクション/サービスの実行、3 つの動作モード (シーケンス) のサポートが含まれます。
、ビヘイビア ツリー、ステート マシン)、新しいロボットのアクションを可能なアクションのライブラリに追加するための模倣学習、および人間と環境のフィードバックを介した LLM リフレクション。
広範な実験によりフレームワークが検証され、長期にわたるタスク、テーブルトップの再配置、リモート監視制御などのさまざまなシナリオにおける堅牢性、拡張性、多用途性が実証されています。
フレームワークの導入を促進し、結果の再現をサポートするために、コードをオープンソースにしました。
https://github.com/huawei-noah/HEBO/tree/master/ROSLLM からアクセスできます。

要約(オリジナル)

We present a framework for intuitive robot programming by non-experts, leveraging natural language prompts and contextual information from the Robot Operating System (ROS). Our system integrates large language models (LLMs), enabling non-experts to articulate task requirements to the system through a chat interface. Key features of the framework include: integration of ROS with an AI agent connected to a plethora of open-source and commercial LLMs, automatic extraction of a behavior from the LLM output and execution of ROS actions/services, support for three behavior modes (sequence, behavior tree, state machine), imitation learning for adding new robot actions to the library of possible actions, and LLM reflection via human and environment feedback. Extensive experiments validate the framework, showcasing robustness, scalability, and versatility in diverse scenarios, including long-horizon tasks, tabletop rearrangements, and remote supervisory control. To facilitate the adoption of our framework and support the reproduction of our results, we have made our code open-source. You can access it at: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google