Action Contextualization: Adaptive Task Planning and Action Tuning using Large Language Models

要約

大規模言語モデル (LLM) は、人間の広範な知識を活用することで、ロボットのタスク計画に有望なフロンティアを提供します。
それにもかかわらず、現在の文献では、ロボットの適応性とエラー修正の重要な側面が見落とされていることがよくあります。
この研究は、ロボットが動作を変更し、状況に基づいて最適なタスク計画を選択できるようにすることで、この制限を克服することを目的としています。
アクションのコンテキスト化を実現するための新しいフレームワークを紹介します。これは、ロボットのアクションを特定のタスクのコンテキストに合わせて調整することを目的としており、それによって LLM 由来のコンテキスト上の洞察を適用することで適応性を強化します。
私たちのフレームワークは、各動作のロボットのパフォーマンスを評価する動作メトリクスを統合して、計画の冗長性を解決します。
さらに、ロボットと LLM の間のオンライン フィードバックをサポートし、タスク プランの即時変更やエラーの修正を可能にします。
広範な実験検証により、全体的な成功率 81.25% が達成されました。
最後に、ダイナミック システム (DS) ベースのロボット コントローラーと統合すると、ロボット アームハンド システムは、一連のテーブルクリア タスク用に LLM で生成された動作プランを自律的に実行し、人間の介入なしでエラーを修正し、外部に対する堅牢性を実証します。
妨害。
私たちが提案するフレームワークは、モジュール制御アプローチと統合できる可能性も備えており、現実世界で連続タスクを実行する際のロボットの適応性と自律性が大幅に向上します。

要約(オリジナル)

Large Language Models (LLMs) present a promising frontier in robotic task planning by leveraging extensive human knowledge. Nevertheless, the current literature often overlooks the critical aspects of robots’ adaptability and error correction. This work aims to overcome this limitation by enabling robots to modify their motions and select the most suitable task plans based on the context. We introduce a novel framework to achieve action contextualization, aimed at tailoring robot actions to the context of specific tasks, thereby enhancing adaptability through applying LLM-derived contextual insights. Our framework integrates motion metrics that evaluate robot performances for each motion to resolve redundancy in planning. Moreover, it supports online feedback between the robot and the LLM, enabling immediate modifications to the task plans and corrections of errors. An overall success rate of 81.25% has been achieved through extensive experimental validation. Finally, when integrated with dynamical system (DS)-based robot controllers, the robotic arm-hand system demonstrates its proficiency in autonomously executing LLM-generated motion plans for sequential table-clearing tasks, rectifying errors without human intervention, and showcasing robustness against external disturbances. Our proposed framework also features the potential to be integrated with modular control approaches, significantly enhancing robots’ adaptability and autonomy in performing sequential tasks in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google