Deployment of NLP and LLM Techniques to Control Mobile Robots at the Edge: A Case Study Using GPT-4-Turbo and LLaMA 2

要約

この論文では、モバイル ロボット工学における自然言語処理 (NLP) と大規模言語モデル (LLM) の適用を通じて、人間とロボットの直感的な対話の可能性を調査します。
私たちは、これらのテクノロジーをエッジベースの導入に使用して、従来のクラウドへの依存関係を排除する実現可能性を探ることを目指しています。
この研究では、特に、クラウド接続を必要とする GPT-4-Turbo のパフォーマンスと、オフライン対応の量子化バージョンの LLaMA 2 (LLaMA 2-7B.Q5 K M) を比較しています。
私たちの結果は、GPT-4-Turbo が複雑なコマンドを正確に解釈して実行する点で優れたパフォーマンスを発揮するのに対し、LLaMA 2 はコマンド実行の一貫性と信頼性において大きな制限があることを示しています。
制御コンピューターと移動ロボット間の通信は、Raspberry Pi Pico W を介して確立されます。Raspberry Pi Pico W は、インターネットに依存せずにコンピューターからコマンドを無線で受信し、有線接続を介してロボットの Arduino コントローラーに送信します。
この研究は、エッジでの LLM と NLP の実装の可能性と課題を浮き彫りにし、完全に自律的でネットワークに依存しないロボット システムに関する将来の研究の基礎を提供します。
ビデオデモとソースコードについては、https://tinyurl.com/RobocupSym2024 を参照してください。

要約(オリジナル)

This paper investigates the possibility of intuitive human-robot interaction through the application of Natural Language Processing (NLP) and Large Language Models (LLMs) in mobile robotics. We aim to explore the feasibility of using these technologies for edge-based deployment, where traditional cloud dependencies are eliminated. The study specifically contrasts the performance of GPT-4-Turbo, which requires cloud connectivity, with an offline-capable, quantized version of LLaMA 2 (LLaMA 2-7B.Q5 K M). Our results show that GPT-4-Turbo delivers superior performance in interpreting and executing complex commands accurately, whereas LLaMA 2 exhibits significant limitations in consistency and reliability of command execution. Communication between the control computer and the mobile robot is established via a Raspberry Pi Pico W, which wirelessly receives commands from the computer without internet dependency and transmits them through a wired connection to the robot’s Arduino controller. This study highlights the potential and challenges of implementing LLMs and NLP at the edge, providing groundwork for future research into fully autonomous and network-independent robotic systems. For video demonstrations and source code, please refer to: https://tinyurl.com/RobocupSym2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google