Multi-Camera Asynchronous Ball Localization and Trajectory Prediction with Factor Graphs and Human Poses

要約

ボールの迅速かつ正確な位置特定と予測は、球技スポーツ、特に高速のボールの動きと強力なスピンを特徴とするテニスなどのスポーツで機敏なロボットを開発するために重要です。
スピンによって引き起こされるマグナス効果により、飛行中の軌道予測と地面との接触時のバウンドダイナミクスに複雑さが加わります。
この研究では、リアルタイムおよび非同期の 3D テニス ボールの位置特定のために、マルチカメラ システムとファクター グラフを組み合わせた革新的なアプローチを紹介します。
さらに、軌道予測のために速度やスピンなどの隠れた状態を推定します。
さらに、観測が限られているボール飛行初期のスピン推論を強化するために、時間畳み込みネットワーク (TCN) を使用して人間の姿勢データを統合し、ファクター グラフ内のスピン事前分布を計算します。
この改良により、ファクター グラフの開始時により正確なスピン事前分布が提供され、予測のための初期段階の隠れ状態推論の向上につながります。
私たちの結果は、トレーニングされた TCN が 5.27 Hz の RMSE でスピン事前分布を予測できることを示しています。
TCN をファクター グラフに統合すると、適応拡張カルマン フィルターを利用したベースライン手法と比較して、着陸位置の予測誤差が 63.6% 以上減少します。

要約(オリジナル)

The rapid and precise localization and prediction of a ball are critical for developing agile robots in ball sports, particularly in sports like tennis characterized by high-speed ball movements and powerful spins. The Magnus effect induced by spin adds complexity to trajectory prediction during flight and bounce dynamics upon contact with the ground. In this study, we introduce an innovative approach that combines a multi-camera system with factor graphs for real-time and asynchronous 3D tennis ball localization. Additionally, we estimate hidden states like velocity and spin for trajectory prediction. Furthermore, to enhance spin inference early in the ball’s flight, where limited observations are available, we integrate human pose data using a temporal convolutional network (TCN) to compute spin priors within the factor graph. This refinement provides more accurate spin priors at the beginning of the factor graph, leading to improved early-stage hidden state inference for prediction. Our result shows the trained TCN can predict the spin priors with RMSE of 5.27 Hz. Integrating TCN into the factor graph reduces the prediction error of landing positions by over 63.6% compared to a baseline method that utilized an adaptive extended Kalman filter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google