A multi-modal table tennis robot system

要約

近年、ロボット卓球は、知覚とロボット制御に関する人気の研究課題となっています。
ここでは、高精度の視覚検出と高速なロボット反応を備えた改良された卓球ロボット システムを紹介します。
以前の研究に基づいて、私たちのシステムには 6 DOF の KUKA ロボット アームが含まれており、4 台のフレームベース カメラと 2 台の追加のイベントベース カメラが搭載されています。
私たちは、このマルチモーダルな知覚システムを校正するための新しい校正アプローチを開発しました。
卓球の場合、スピンの推定は非常に重要です。
したがって、私たちは新しく、より正確なスピン推定アプローチを導入しました。
最後に、イベントベースのカメラの出力とスパイキング ニューラル ネットワーク (SNN) を組み合わせて、正確なボール検出にどのように使用できるかを示します。

要約(オリジナル)

In recent years, robotic table tennis has become a popular research challenge for perception and robot control. Here, we present an improved table tennis robot system with high accuracy vision detection and fast robot reaction. Based on previous work, our system contains a KUKA robot arm with 6 DOF, with four frame-based cameras and two additional event-based cameras. We developed a novel calibration approach to calibrate this multimodal perception system. For table tennis, spin estimation is crucial. Therefore, we introduced a novel, and more accurate spin estimation approach. Finally, we show how combining the output of an event-based camera and a Spiking Neural Network (SNN) can be used for accurate ball detection.

arxiv情報

著者 Andreas Ziegler,Thomas Gossard,Karl Vetter,Jonas Tebbe,Andreas Zell
発行日 2023-11-25 15:29:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO パーマリンク