REAL: Resilience and Adaptation using Large Language Models on Autonomous Aerial Robots

要約

インターネット規模のデータセットで事前トレーニングされた大規模言語モデル (LLM) は、コードの理解、合成、および汎用の質疑応答において優れた機能を示しています。
彼らのパフォーマンスの鍵となるのは、トレーニング中に獲得した十分な事前知識と、多くの場合自然言語で表現される拡張された記号シーケンスを推論する能力です。
この研究では、自律移動ロボットの回復力と適応性を高めるために、広範な長期推論、自然言語理解、LLM の利用可能な事前知識を活用することを目指しています。
LLM を使用した復元力と適応のためのアプローチである REAL を紹介します。
REAL は、自律ロボットのミッション計画および制御フレームワークの一部として LLM を採用する戦略を提供します。
REAL で採用されている LLM は、(i) システムが明示的に設計されていない困難なシナリオに対する回復力を高めるための事前知識のソースを提供します。
(ii) ミッション計画のために、自律スタックで利用可能な自然言語およびその他のログ/診断情報を解釈する方法。
(iii) ロボットのダイナミクス/運動学についてユーザーが提供する最小限の事前知識を使用して制御入力を適応させる方法。
REAL を実際のマルチコプターの自律スタックに統合し、ロボットのミッション計画および制御フィードバック ループの一部として、オンボードのオフボード LLM に 0.1 ～ 1.0 Hz でクエリを実行します。
実世界の実験では、(i) コントローラーのパラメーターのエラーおよび (ii) モデル化されていないダイナミクスの存在下で、マルチコプターの位置追跡エラーを低減する LLM の能力を実証します。
また、(iii) 初期のプロンプト設計では明示的に考慮されていなかった潜在的に危険なシナリオ (ロボットの振動など) を回避するための意思決定も示します。

要約(オリジナル)

Large Language Models (LLMs) pre-trained on internet-scale datasets have shown impressive capabilities in code understanding, synthesis, and general purpose question-and-answering. Key to their performance is the substantial prior knowledge acquired during training and their ability to reason over extended sequences of symbols, often presented in natural language. In this work, we aim to harness the extensive long-term reasoning, natural language comprehension, and the available prior knowledge of LLMs for increased resilience and adaptation in autonomous mobile robots. We introduce REAL, an approach for REsilience and Adaptation using LLMs. REAL provides a strategy to employ LLMs as a part of the mission planning and control framework of an autonomous robot. The LLM employed by REAL provides (i) a source of prior knowledge to increase resilience for challenging scenarios that the system had not been explicitly designed for; (ii) a way to interpret natural-language and other log/diagnostic information available in the autonomy stack, for mission planning; (iii) a way to adapt the control inputs using minimal user-provided prior knowledge about the dynamics/kinematics of the robot. We integrate REAL in the autonomy stack of a real multirotor, querying onboard an offboard LLM at 0.1-1.0 Hz as part the robot’s mission planning and control feedback loops. We demonstrate in real-world experiments the ability of the LLM to reduce the position tracking errors of a multirotor under the presence of (i) errors in the parameters of the controller and (ii) unmodeled dynamics. We also show (iii) decision making to avoid potentially dangerous scenarios (e.g., robot oscillates) that had not been explicitly accounted for in the initial prompt design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google