Towards Ball Spin and Trajectory Analysis in Table Tennis Broadcast Videos via Physically Grounded Synthetic-to-Real Transfer

要約

卓球のプレーヤーのテクニックを分析するには、ボールの3D軌道とスピンに関する知識が必要です。
スピンは標準の放送ビデオでは直接観察できませんが、ビデオのボールの軌跡から推測できることを示します。
ビデオの対応する2D軌道からの初期スピンと3D軌道を推測する新しい方法を提示します。
ブロードキャストビデオのグラウンドトゥルースラベルがなければ、合成データのみでニューラルネットワークを訓練します。
入力データ表現の選択、物理的に合成トレーニングデータを正しく修正し、ターゲットの増強を使用して、ネットワークは自然に実際のデータに一般化します。
特に、これらの単純な手法は、一般化を達成するのに十分です。
トレーニングには実際のデータはまったく必要ありません。
私たちの知る限り、私たちは単純な単眼放送ビデオでスピンと軌道の予測の方法を提示した最初のものであり、スピン分類で92.0％の精度と画像の対角線の0.19％の2D再注入誤差を達成します。

要約(オリジナル)

Analyzing a player’s technique in table tennis requires knowledge of the ball’s 3D trajectory and spin. While, the spin is not directly observable in standard broadcasting videos, we show that it can be inferred from the ball’s trajectory in the video. We present a novel method to infer the initial spin and 3D trajectory from the corresponding 2D trajectory in a video. Without ground truth labels for broadcast videos, we train a neural network solely on synthetic data. Due to the choice of our input data representation, physically correct synthetic training data, and using targeted augmentations, the network naturally generalizes to real data. Notably, these simple techniques are sufficient to achieve generalization. No real data at all is required for training. To the best of our knowledge, we are the first to present a method for spin and trajectory prediction in simple monocular broadcast videos, achieving an accuracy of 92.0% in spin classification and a 2D reprojection error of 0.19% of the image diagonal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google