LLM-Based Human-Robot Collaboration Framework for Manipulation Tasks

要約

この論文では、論理推論に大規模言語モデル (LLM) を使用し、高級言語コマンドを実行可能なモーション関数のシーケンスに変換し、自律ロボット操作を強化する新しいアプローチを紹介します。
提案されたシステムは、LLM の利点と YOLO ベースの環境認識を組み合わせて、ロボットが与えられたコマンドに基づいて合理的な決定とタスク計画を自律的に行​​うことを可能にします。
さらに、LLM から生じる潜在的な不正確さまたは非論理的な動作に対処するために、遠隔操作と動的移動プリミティブ (DMP) の組み合わせが動作修正に使用されます。
この統合は、LLM ベースの人間とロボットのコラボレーション システムの実用性と汎用性を向上させることを目的としています。

要約(オリジナル)

This paper presents a novel approach to enhance autonomous robotic manipulation using the Large Language Model (LLM) for logical inference, converting high-level language commands into sequences of executable motion functions. The proposed system combines the advantage of LLM with YOLO-based environmental perception to enable robots to autonomously make reasonable decisions and task planning based on the given commands. Additionally, to address the potential inaccuracies or illogical actions arising from LLM, a combination of teleoperation and Dynamic Movement Primitives (DMP) is employed for action correction. This integration aims to improve the practicality and generalizability of the LLM-based human-robot collaboration system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google