Integrating Quantized LLMs into Robotics Systems as Edge AI to Leverage their Natural Language Processing Capabilities

要約

大規模な言語モデル（LLMS）は昨年、大きな進歩を経験し、いくつかの分野でこれらのモデルが増加して自然言語のタスクに直面しています。
ロボット工学でのこれらのモデルの統合は、人間とロボットの相互作用、ナビゲーション、計画、意思決定など、いくつかの側面を改善するのにも役立ちます。
したがって、このペーパーでは、Llama \ _ROSを紹介します。Llama\ _Rosは、llama.cppを使用して量子化された大手言語モデル（LLMS）をロボットシステムに統合するために設計されたツールであり、Llama.cppをレバレッジしているラマ\ _ROSを使用して、エッジエッジの人工知能としてのロボットシステムでのロボットシステムでのロボットシステムにおいて、エッジエッジエフェクティックシステムとしての量子化LLMS（AI）としての量子化LLMの効率的な実行を可能にします。
量子化されたLLMSを展開することにより、llama \ _ROSは、自律ロボットの機能を改善するために、迅速なエンジニアリング、知識グラフ、オントロジー、またはその他のツールと組み合わせることができる強化された意思決定と相互作用のために、自然言語の理解と生成を活用するためにロボットを強化します。
さらに、このペーパーでは、ロボット工学の計画と説明可能性のためにllama \ _ROSを使用するいくつかのユースケースに関する洞察を提供します。

要約(オリジナル)

Large Language Models (LLMs) have experienced great advancements in the last year resulting in an increase of these models in several fields to face natural language tasks. The integration of these models in robotics can also help to improve several aspects such as human-robot interaction, navigation, planning and decision-making. Therefore, this paper introduces llama\_ros, a tool designed to integrate quantized Large Language Models (LLMs) into robotic systems using ROS 2. Leveraging llama.cpp, a highly optimized runtime engine, llama\_ros enables the efficient execution of quantized LLMs as edge artificial intelligence (AI) in robotics systems with resource-constrained environments, addressing the challenges of computational efficiency and memory limitations. By deploying quantized LLMs, llama\_ros empowers robots to leverage the natural language understanding and generation for enhanced decision-making and interaction which can be paired with prompt engineering, knowledge graphs, ontologies or other tools to improve the capabilities of autonomous robots. Additionally, this paper provides insights into some use cases of using llama\_ros for planning and explainability in robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google