Deep Instance Segmentation and Visual Servoing to Play Jenga with a Cost-Effective Robotic System

要約

ジェンガゲームは、複雑なタスクに対する革新的なマニピュレーションソリューションの開発において、インスピレーションを与えるベンチマークとなるものである。実際、タワーからブロックを取り出すための新しいロボティクス手法の研究が奨励された。ジェンガのゲームラウンドには、複雑な産業用または外科用マニピュレーションタスクの特徴が多く含まれており、多段階の戦略、視覚と触覚データの組み合わせ、単一のブロック抽出を行うためのロボットアームの高精度な動作が必要とされることは間違いない。本研究では、Comau社製の6自由度マニピュレータe.Do、標準的な深度カメラ、安価な単方向力センサーを用いて、ジェンガをプレイするための新規で費用対効果の高いアーキテクチャを提案する。本論文では、視覚に基づく制御戦略により、エンドエフェクタを目的のブロックに正確に位置合わせし、押すことでブロックの抽出を可能にすることに焦点を当てる。この目的のために、我々は、ジェンガタワーの各ピースをセグメント化するために、合成カスタムデータセット上でインスタンスセグメンテーションディープラーニングモデルを訓練し、マニピュレータの動作中に目的のブロックの姿勢を視覚的に追跡することを可能にします。我々は、視覚ベースの戦略を1D力センサーと統合し、力の閾値を特定することによってブロックを安全に除去することができるかどうかを検出します。実験によると、e.DOは低コストでありながら、取り外し可能なブロックに正確に到達し、最大14個まで連続して取り出すことができました。

要約(オリジナル)

The game of Jenga represents an inspiring benchmark for developing innovative manipulation solutions for complex tasks. Indeed, it encouraged the study of novel robotics methods to successfully extract blocks from the tower. A Jenga game round undoubtedly embeds many traits of complex industrial or surgical manipulation tasks, requiring a multi-step strategy, the combination of visual and tactile data, and the highly precise motion of the robotic arm to perform a single block extraction. In this work, we propose a novel, cost-effective architecture for playing Jenga with e.Do, a 6-DOF anthropomorphic manipulator manufactured by Comau, a standard depth camera, and an inexpensive monodirectional force sensor. Our solution focuses on a visual-based control strategy to accurately align the end-effector with the desired block, enabling block extraction by pushing. To this aim, we train an instance segmentation deep learning model on a synthetic custom dataset to segment each piece of the Jenga tower, allowing visual tracking of the desired block’s pose during the motion of the manipulator. We integrate the visual-based strategy with a 1D force sensor to detect whether the block can be safely removed by identifying a force threshold value. Our experimentation shows that our low-cost solution allows e.DO to precisely reach removable blocks and perform up to 14 consecutive extractions in a row.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL