Deploying Foundation Model-Enabled Air and Ground Robots in the Field: Challenges and Opportunities

要約

基礎モデル（FM）をロボット工学に統合することで、ロボットは環境のセマンティクスに関する自然言語と理性を理解することができました。
ただし、既存のFM対応ロボットプライマリは、閉じた世界の設定で動作します。ここでは、ロボットに完全な前のマップが与えられるか、ワークスペースが完全に表示されます。
このペーパーでは、フィールドでのFM対応ロボットの展開に対処します。ミッションでは、多くの場合、ロボットが大規模で構造化されていない環境で動作する必要があります。
これらのミッションを効果的に達成するには、ロボットは環境を積極的に探索し、障害物散乱した地形をナビゲートし、予期しないセンサー入力を処理し、計算制約で動作する必要があります。
フィールドロボット設定でのLLM対応自治フレームワークである脊椎の最近の展開について説明します。
私たちの知る限り、数キロのミッションを備えた構造化されていない環境での大規模なLLM対応ロボット計画の最初のデモを紹介します。
脊椎は特定のLLMに不可知論されているため、オンボードサイズ、重量、電源（SWAP）限定プラットフォームを実行できる小さな言語モデルを蒸留できます。
予備モデルの蒸留作業を介して、デバイス上の言語モデルを使用して、第一言語主導のUAVプランナーを提示します。
将来の研究のためのいくつかの有望な方向を提案することにより、私たちの論文を締めくくります。

要約(オリジナル)

The integration of foundation models (FMs) into robotics has enabled robots to understand natural language and reason about the semantics in their environments. However, existing FM-enabled robots primary operate in closed-world settings, where the robot is given a full prior map or has a full view of its workspace. This paper addresses the deployment of FM-enabled robots in the field, where missions often require a robot to operate in large-scale and unstructured environments. To effectively accomplish these missions, robots must actively explore their environments, navigate obstacle-cluttered terrain, handle unexpected sensor inputs, and operate with compute constraints. We discuss recent deployments of SPINE, our LLM-enabled autonomy framework, in field robotic settings. To the best of our knowledge, we present the first demonstration of large-scale LLM-enabled robot planning in unstructured environments with several kilometers of missions. SPINE is agnostic to a particular LLM, which allows us to distill small language models capable of running onboard size, weight and power (SWaP) limited platforms. Via preliminary model distillation work, we then present the first language-driven UAV planner using on-device language models. We conclude our paper by proposing several promising directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google