Enhancing Human-Robot Collaboration: A Sim2Real Domain Adaptation Algorithm for Point Cloud Segmentation in Industrial Environments

要約

3D環境の堅牢な解釈は、安全性と運用効率が最重要であるヒューマンロボットコラボレーション（HRC）アプリケーションに不可欠です。
セマンティックセグメンテーションは、環境の正確で詳細な理解を可能にすることにより、このコンテキストで重要な役割を果たします。
効果的なセマンティックセグメンテーションに不可欠な実際の産業用注釈データに対する激しいデータの飢えを考慮して、このペーパーでは、HRC専用に調整された3DポイントクラウドデータのセマンティックセグメンテーションのためのSIM2REALドメイン適応における先駆的なアプローチを紹介します。
私たちの焦点は、シミュレートされた環境から現実世界のアプリケーションに堅牢に移行するネットワークを開発し、それにより、その実用的な有用性と安全なHRCへの影響を高めることにあります。
この作業では、動的グラフ畳み込みニューラルネットワーク（DGCNN）と畳み込みニューラルネットワーク（CNN）を組み合わせたデュアルストリームネットワークアーキテクチャ（融合）を提案します。
提案されたモデルは、実際のHRCセットアップとシミュレーション産業点クラウドで評価され、最先端のパフォーマンスの増加を示し、既存の方法と比較して97.76％のセグメンテーション精度と優れた堅牢性を達成しました。

要約(オリジナル)

The robust interpretation of 3D environments is crucial for human-robot collaboration (HRC) applications, where safety and operational efficiency are paramount. Semantic segmentation plays a key role in this context by enabling a precise and detailed understanding of the environment. Considering the intense data hunger for real-world industrial annotated data essential for effective semantic segmentation, this paper introduces a pioneering approach in the Sim2Real domain adaptation for semantic segmentation of 3D point cloud data, specifically tailored for HRC. Our focus is on developing a network that robustly transitions from simulated environments to real-world applications, thereby enhancing its practical utility and impact on a safe HRC. In this work, we propose a dual-stream network architecture (FUSION) combining Dynamic Graph Convolutional Neural Networks (DGCNN) and Convolutional Neural Networks (CNN) augmented with residual layers as a Sim2Real domain adaptation algorithm for an industrial environment. The proposed model was evaluated on real-world HRC setups and simulation industrial point clouds, it showed increased state-of-the-art performance, achieving a segmentation accuracy of 97.76%, and superior robustness compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google