Large Language Models for Robotics: A Survey

要約

マルチモダリティフィードバックを通じて複雑な操作タスクを学習、一般化、制御する人間の能力は、器用性知能と呼ばれる独自の能力を示唆しています。
このインテリジェンスを理解して評価することは複雑な作業です。
大規模言語モデル (LLM) の急速な進歩と広範な普及の中で、ロボット工学分野での LLM の応用はますます注目を集めています。
LLM は自然言語を処理および生成する能力を備えており、ロボットとの効率的な対話とコラボレーションを促進します。
ロボット工学分野の研究者やエンジニアは、ロボットの知能、人間とロボットの相互作用、自律性を向上させる LLM の計り知れない可能性を認識しています。
したがって、この包括的なレビューは、ロボット工学における LLM のアプリケーションを要約し、ロボット制御、知覚、意思決定、経路計画などの主要領域への LLM の影響と貢献を掘り下げることを目的としています。
まず、ロボット工学用 LLM の背景と開発の概要を説明し、続いてロボット工学用 LLM の利点と、LLM に基づくロボット工学モデルの最近の進歩について説明します。
次に、知覚、意思決定、制御、対話に使用される技術など、モデルで使用されているさまざまな技術を詳しく調べます。
最後に、ロボット工学における LLM の応用と、近い将来直面する可能性のあるいくつかの潜在的な課題を探ります。
身体化されたインテリジェンスはインテリジェントサイエンスの未来であり、LLM ベースのロボット工学は、これを達成するための有望だが困難な道の 1 つです。

要約(オリジナル)

The human ability to learn, generalize, and control complex manipulation tasks through multi-modality feedback suggests a unique capability, which we refer to as dexterity intelligence. Understanding and assessing this intelligence is a complex task. Amidst the swift progress and extensive proliferation of large language models (LLMs), their applications in the field of robotics have garnered increasing attention. LLMs possess the ability to process and generate natural language, facilitating efficient interaction and collaboration with robots. Researchers and engineers in the field of robotics have recognized the immense potential of LLMs in enhancing robot intelligence, human-robot interaction, and autonomy. Therefore, this comprehensive review aims to summarize the applications of LLMs in robotics, delving into their impact and contributions to key areas such as robot control, perception, decision-making, and path planning. We first provide an overview of the background and development of LLMs for robotics, followed by a description of the benefits of LLMs for robotics and recent advancements in robotics models based on LLMs. We then delve into the various techniques used in the model, including those employed in perception, decision-making, control, and interaction. Finally, we explore the applications of LLMs in robotics and some potential challenges they may face in the near future. Embodied intelligence is the future of intelligent science, and LLMs-based robotics is one of the promising but challenging paths to achieve this.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google