Using Augmented Reality to Assess and Modify Mobile Manipulator Surface Repair Plans

要約

産業用ロボットは、複数の分野にわたって検査とメンテナンスのルーチンを再定義し、安全性、効率性、環境の持続可能性を高めています。
屋外の産業施設では、腐食の影響を受けた複雑な表面を検査して修理することが非常に重要です。
この課題に対処するために、これらの施設内を移動し、腐食領域を特定し、保護コーティングを塗布するための移動式マニピュレーターが開発されました。
ただし、この技術はまだ初期段階にあり、重要な機器を不適切にコーティングすると重大な結果が生じる可能性があることを考慮すると、ロボットの腐食の特定と修理計画をレビューするには人間の監視が必要です。
ロボットが生成した表面腐食修復計画を専門家以外でもリアルタイムで視覚化、変更、承認できるように設計された、実用的でスケーラブルな拡張現実 (AR) ベースのシステムを紹介します。
AR ベースのヒューマン ロボット インタラクション フレームワークである拡張ロボット環境 (AugRE) に基づいて、当社は、Situational Task Accept and Repair (STAR) と呼ばれる包括的な AR アプリケーション モジュールを開発しました。
STAR を使用すると、ユーザーは、これらの産業環境内の物理環境に重ねて特定された腐食画像、点群データ、およびロボットのナビゲーション目標を調べることができます。
ユーザーは、インタラクティブなホログラフィック ボリュームを使用して、コーティングのオーバースプレーの危険性がある近くの重要な機器を除外して、ロボットの修理計画をリアルタイムでさらに調整できます。
Microsoft HoloLens 2 と双腕モバイル マニピュレーターを使用して、システム全体をデモンストレーションします。
私たちの将来の研究は、ユーザーエクスペリエンス、システムの堅牢性、および現実世界の検証の評価に焦点を当てます。

要約(オリジナル)

Industrial robotics are redefining inspection and maintenance routines across multiple sectors, enhancing safety, efficiency, and environmental sustainability. In outdoor industrial facilities, it is crucial to inspect and repair complex surfaces affected by corrosion. To address this challenge, mobile manipulators have been developed to navigate these facilities, identify corroded areas, and apply protective coatings. However, given that this technology is still in its infancy and the consequences of improperly coating essential equipment can be significant, human oversight is necessary to review the robot’s corrosion identification and repair plan. We present a practical and scalable Augmented Reality (AR)-based system designed to empower non-experts to visualize, modify, and approve robot-generated surface corrosion repair plans in real-time. Built upon an AR-based human-robot interaction framework, Augmented Robot Environment (AugRE), we developed a comprehensive AR application module called Situational Task Accept and Repair (STAR). STAR allows users to examine identified corrosion images, point cloud data, and robot navigation objectives overlaid on the physical environment within these industrial environments. Users are able to additionally make adjustments to the robot repair plan in real-time using interactive holographic volumes, excluding critical nearby equipment that might be at risk of coating overspray. We demonstrate the entire system using a Microsoft HoloLens 2 and a dual-arm mobile manipulator. Our future research will focus on evaluating user experience, system robustness, and real-world validation.

arxiv情報

著者 Frank Regal,Steven Swanbeck,Fabian Parra,Jared Rosenbaum,Mitch Pryor
発行日 2023-11-02 04:34:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO パーマリンク