GoferBot: A Visual Guided Human-Robot Collaborative Assembly System

要約

スマート製造への現在の変革により、製造プロセスにおけるヒューマン・ロボット・コラボレーション (HRC) の需要が高まっています。
人間の同僚の行動を認識して理解すると、協働ロボットが構造化されていない動的な環境でタスクを効率的かつ効果的に実行するという課題が生じます。
最近のデータ駆動型マシン ビジョン機能を HRC システムに統合することは、これらの課題に対処するための当然の次のステップです。
ただし、このような場合、既製のコンポーネントは一般化の制限により困難になります。
これらのアプローチの成熟度と堅牢性を十分に評価するには、実際の評価が必要です。
さらに、純粋視覚の側面を理解することは、限界を理解するために複数のモダリティを組み合わせる前の重要な最初のステップです。
この論文では、現実世界の組み立てタスク用の新しいビジョンベースのセマンティック HRC システムである GoferBot を提案します。
これは、非構造化マルチインスタンスおよび動的環境でアセンブリ部品に到達して把握するビジュアルサーボモジュール、暗黙的なコミュニケーションのために人間の行動予測を実行する行動認識モジュール、および人間の行動の知覚的理解を使用するビジュアルハンドオーバーモジュールで構成されます。
直感的で効率的な共同組み立てエクスペリエンスを生み出します。
GoferBot は、純粋に視覚から得られる暗黙的な意味情報を利用することで、すべてのサブモジュールをシームレスに統合する新しいアセンブリ システムです。

要約(オリジナル)

The current transformation towards smart manufacturing has led to a growing demand for human-robot collaboration (HRC) in the manufacturing process. Perceiving and understanding the human co-worker’s behaviour introduces challenges for collaborative robots to efficiently and effectively perform tasks in unstructured and dynamic environments. Integrating recent data-driven machine vision capabilities into HRC systems is a logical next step in addressing these challenges. However, in these cases, off-the-shelf components struggle due to generalisation limitations. Real-world evaluation is required in order to fully appreciate the maturity and robustness of these approaches. Furthermore, understanding the pure-vision aspects is a crucial first step before combining multiple modalities in order to understand the limitations. In this paper, we propose GoferBot, a novel vision-based semantic HRC system for a real-world assembly task. It is composed of a visual servoing module that reaches and grasps assembly parts in an unstructured multi-instance and dynamic environment, an action recognition module that performs human action prediction for implicit communication, and a visual handover module that uses the perceptual understanding of human behaviour to produce an intuitive and efficient collaborative assembly experience. GoferBot is a novel assembly system that seamlessly integrates all sub-modules by utilising implicit semantic information purely from visual perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google