Enabling Waypoint Generation for Collaborative Robots using LLMs and Mixed Reality

要約

ロボットのプログラミングは、ユーザーが特定のプログラミング言語を使いこなし、ロボットの物理的制約を認識する必要があるため、複雑な作業です。
私たちは、自然言語を使用した直接コミュニケーションを可能にすることでロボットの導入を簡素化するフレームワークを提案します。
プロンプト処理、ワークスペースの理解、およびウェイポイントの生成のために大規模言語モデル (LLM) を使用します。
また、拡張現実 (AR) を利用して、計画された結果を視覚的にフィードバックします。
実際のロボットに実装した単純なピックアンドプレイスタスクでフレームワークの有効性を示します。
さらに、ユーザーとのコミュニケーションや新しいスキル（物体の把握など）の学習に使用できる、表現力豊かなロボットの動作とスキル生成の初期の概念を提示します。

要約(オリジナル)

Programming a robotic is a complex task, as it demands the user to have a good command of specific programming languages and awareness of the robot’s physical constraints. We propose a framework that simplifies robot deployment by allowing direct communication using natural language. It uses large language models (LLM) for prompt processing, workspace understanding, and waypoint generation. It also employs Augmented Reality (AR) to provide visual feedback of the planned outcome. We showcase the effectiveness of our framework with a simple pick-and-place task, which we implement on a real robot. Moreover, we present an early concept of expressive robot behavior and skill generation that can be used to communicate with the user and learn new skills (e.g., object grasping).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google