Development of a Human-Robot Interaction Platform for Dual-Arm Robots Based on ROS and Multimodal Artificial Intelligence

要約

この論文では、ロボット オペレーティング システム (ROS) とマルチモーダル人工知能モデルに基づく双腕ロボット システムと人間の間の対話型プラットフォームの開発を提案します。
私たちが提案するプラットフォームは、双腕ロボット ハードウェア システムと、3D カメラと組み込みコンピューティングを使用した画像処理タスクと自然言語処理を含むソフトウェアの 2 つの主要コンポーネントで構成されます。
まず、位置精度が 2 cm 未満で、ROS 環境でロボットのシミュレーションとモデリングを同時に行いながら、独立して動作して産業およびサービスのタスクを実行できる双腕ロボット システムを設計および開発しました。
2 番目に、画像処理用の人工知能モデルが統合されており、オブジェクトの選択と分類のタスクを 90% 以上の精度で実行します。
最後に、自然言語処理モデルによる音声コマンドを使用した遠隔制御ソフトウェアを開発しました。
実験結果は、人間の対話型環境におけるマルチモーダル人工知能モデルの精度と双腕ロボット システムの柔軟性を実証しています。

要約(オリジナル)

In this paper, we propose the development of an interactive platform between humans and a dual-arm robotic system based on the Robot Operating System (ROS) and a multimodal artificial intelligence model. Our proposed platform consists of two main components: a dual-arm robotic hardware system and software that includes image processing tasks and natural language processing using a 3D camera and embedded computing. First, we designed and developed a dual-arm robotic system with a positional accuracy of less than 2 cm, capable of operating independently, performing industrial and service tasks while simultaneously simulating and modeling the robot in the ROS environment. Second, artificial intelligence models for image processing are integrated to execute object picking and classification tasks with an accuracy of over 90%. Finally, we developed remote control software using voice commands through a natural language processing model. Experimental results demonstrate the accuracy of the multimodal artificial intelligence model and the flexibility of the dual-arm robotic system in interactive human environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google