Event-based tracking of human hands

要約

タイトル：人間の手のイベントベースのトラッキング

要約：
– イベントカメラからのデータを使用した、人間の手のトラッキングの新しい方法を提案。
– イベントカメラは、明るさの変化を検出し、運動を測定し、低レイテンシ、モーションブラーがなく、低消費電力で高ダイナミックレンジを持つ。
– 取得されたフレームは、軽量なアルゴリズムを使用して分析され、3D手の位置データが報告される。
– この手のピックアンドプレースシナリオは、人間とロボットの共同作業や、人間とロボットの安全性向上のための障害回避の例入力として使用される。
– イベントデータは強度フレームに前処理される。オブジェクトエッジのイベントアクティビティを通じてROIが定義され、ノイズが減少する。
– ROIの特徴は、深度認識に使用される。
– イベントベースの人間の手のトラッキングは、リアルタイムで低コンピューティングコストで可能であることが示されている。
– 提案されたROIの見つけ方は、強度イメージからノイズを減らし、元のデータに比べて最大89％のデータ削減を実現し、特徴を保持する。
– 1つのイベントカメラを使用して測定されたグラウンドトゥルースに対する深度推定誤差は、動的時間歪みを使用して15〜30ミリメートルである（測定面によって）。
– 1つのイベントカメラのデータを使用した3D空間での人間の手のトラッキングの定義ROIの特徴。

要約(オリジナル)

This paper proposes a novel method for human hands tracking using data from an event camera. The event camera detects changes in brightness, measuring motion, with low latency, no motion blur, low power consumption and high dynamic range. Captured frames are analysed using lightweight algorithms reporting 3D hand position data. The chosen pick-and-place scenario serves as an example input for collaborative human-robot interactions and in obstacle avoidance for human-robot safety applications. Events data are pre-processed into intensity frames. The regions of interest (ROI) are defined through object edge event activity, reducing noise. ROI features are extracted for use in-depth perception. Event-based tracking of human hand demonstrated feasible, in real time and at a low computational cost. The proposed ROI-finding method reduces noise from intensity images, achieving up to 89% of data reduction in relation to the original, while preserving the features. The depth estimation error in relation to ground truth (measured with wearables), measured using dynamic time warping and using a single event camera, is from 15 to 30 millimetres, depending on the plane it is measured. Tracking of human hands in 3D space using a single event camera data and lightweight algorithms to define ROI features (hands tracking in space).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI