A Survey on Integration of Large Language Models with Intelligent Robots

要約

近年、大規模言語モデル (LLM) の統合によりロボット工学の分野に革命が起こり、ロボットが人間と同じような熟練度でコミュニケーション、理解、推論できるようになりました。
このペーパーでは、ロボット工学に対する LLM の多面的な影響を調査し、さまざまなドメインにわたってこれらのモデルを活用するための主要な課題と機会に対処します。
ロボット工学の中核要素である通信、認識、計画、制御内で LLM アプリケーションを分類および分析することで、LLM をロボット システムに統合しようとしている研究者に実用的な洞察を提供することを目指しています。
私たちの調査は、主にテキストベースのモダリティで GPT-3.5 以降に開発された LLM に焦点を当てていますが、知覚と制御のためのマルチモーダル アプローチも考慮しています。
迅速なエンジニアリングのための包括的なガイドラインと例を提供し、初心者が LLM ベースのロボティクス ソリューションに簡単にアクセスできるようにします。
チュートリアル レベルの例と構造化されたプロンプトの構築を通じて、LLM ガイドによる拡張機能をロボット工学アプリケーションにどのようにシームレスに統合できるかを説明します。
この調査は、LLM 駆動ロボット工学の進化する状況をナビゲートする研究者にとってのロードマップとして機能し、ロボット工学開発で言語モデルの力を活用するための包括的な概要と実践的なガイダンスを提供します。

要約(オリジナル)

In recent years, the integration of large language models (LLMs) has revolutionized the field of robotics, enabling robots to communicate, understand, and reason with human-like proficiency. This paper explores the multifaceted impact of LLMs on robotics, addressing key challenges and opportunities for leveraging these models across various domains. By categorizing and analyzing LLM applications within core robotics elements — communication, perception, planning, and control — we aim to provide actionable insights for researchers seeking to integrate LLMs into their robotic systems. Our investigation focuses on LLMs developed post-GPT-3.5, primarily in text-based modalities while also considering multimodal approaches for perception and control. We offer comprehensive guidelines and examples for prompt engineering, facilitating beginners’ access to LLM-based robotics solutions. Through tutorial-level examples and structured prompt construction, we illustrate how LLM-guided enhancements can be seamlessly integrated into robotics applications. This survey serves as a roadmap for researchers navigating the evolving landscape of LLM-driven robotics, offering a comprehensive overview and practical guidance for harnessing the power of language models in robotics development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google