Semi-autonomous Robotic Disassembly Enhanced by Mixed Reality

要約

本研究では、産業用解体作業のために複合現実感を強化したモジュール型半自律プラットフォームである「SARDiM」を紹介する。SARDiMは、EVバッテリーの分解に焦点を当てたケーススタディを通して、複合現実感、オブジェクトのセグメンテーション、遠隔操作、フォース・フィードバック、可変自律性を統合している。SARDiMは、ROS、Unity、およびMATLABプラットフォームを利用し、ジョイント・インピーダンス・コントローラーとともに、遠隔操作による分解を容易にします。このアプローチでは、リアルタイムの物体セグメンテーションのためにFastSAMを組み合わせ、その後にクラスタ分析アルゴリズムを通して処理されるデータを生成し、コンポーネントの重心と向きを決定し、それらをサイズと分解の優先順位によって分類する。このデータは、MoveItプラットフォームがFrankaロボットアームの軌道計画を行う際のガイドとなります。SARDiMは、手動と半自動の2つの遠隔操作モードを切り替えることができます。それぞれを4つの異なるインターフェース方法（IM）を用いて評価しました：ダイレクトビュー、モニターフィード、モニターフィードを用いたミックスドリアリティ、点群ミックスドリアリティです。8つのIMにわたる評価により、モード2を使用した場合、関節制限違反が40.61%減少することが実証された。さらに、モード2-IM4は、安全性を大幅に向上させながら、モード1-IM1よりも2.33%の時間短縮を達成し、危険な環境で安全な距離を保ちながら、環境を直接見る遠隔操作と同じ使いやすさで操作するのに最適なものとなった。

要約(オリジナル)

In this study, we introduce ‘SARDiM,’ a modular semi-autonomous platform enhanced with mixed reality for industrial disassembly tasks. Through a case study focused on EV battery disassembly, SARDiM integrates Mixed Reality, object segmentation, teleoperation, force feedback, and variable autonomy. Utilising the ROS, Unity, and MATLAB platforms, alongside a joint impedance controller, SARDiM facilitates teleoperated disassembly. The approach combines FastSAM for real-time object segmentation, generating data which is subsequently processed through a cluster analysis algorithm to determine the centroid and orientation of the components, categorizing them by size and disassembly priority. This data guides the MoveIt platform in trajectory planning for the Franka Robot arm. SARDiM provides the capability to switch between two teleoperation modes: manual and semi-autonomous with variable autonomy. Each was evaluated using four different Interface Methods (IM): direct view, monitor feed, mixed reality with monitor feed, and point cloud mixed reality. Evaluations across the eight IMs demonstrated a 40.61% decrease in joint limit violations using Mode 2. Moreover, Mode 2-IM4 outperformed Mode 1-IM1 by achieving a 2.33%-time reduction while considerably increasing safety, making it optimal for operating in hazardous environments at a safe distance, with the same ease of use as teleoperation with a direct view of the environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL