PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment

要約

自動化されたスポーツスキル評価には、専門家を初心者のパフォーマンスと区別する基本的な動きのパターンをキャプチャする必要がありますが、現在のビデオサンプリング方法は、習熟度評価に不可欠な時間的連続性を破壊します。
この目的のために、マルチビュースキル評価のために連続時間セグメント内の完全な基本的な動きを保持する新しいサンプリング戦略である、習熟度を意識する時間サンプリング（PATS）を紹介します。
PATはビデオビデオを適応的にセグメント化して、分析された各部分に重要なパフォーマンスコンポーネントの完全な実行を含むようにし、複数のセグメントでこのプロセスを繰り返して、時間的一貫性を維持しながら情報カバレッジを最大化します。
Skillformerを使用してEgoExo4Dベンチマークで評価され、PATはすべての視聴構成（ +0.65％〜 +3.05％）にわたって最先端の精度を上回り、挑戦的なドメイン（ +26.22％のボルダリング、 +2.39％音楽、 +1.13％のバスケットボール）の大幅な利益をもたらします。
体系的な分析により、PATは、実際のアプリケーションの自動化スキル評価を進めるための時間的サンプリングへの適応アプローチとしての効果を順番に微妙なスキルのためのダイナミックスポーツの高頻度サンプリングから微細なスキルのセグメンテーションまで、多様なアクティビティ特性にうまく適応することが明らかになりました。

要約(オリジナル)

Automated sports skill assessment requires capturing fundamental movement patterns that distinguish expert from novice performance, yet current video sampling methods disrupt the temporal continuity essential for proficiency evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling (PATS), a novel sampling strategy that preserves complete fundamental movements within continuous temporal segments for multi-view skill assessment. PATS adaptively segments videos to ensure each analyzed portion contains full execution of critical performance components, repeating this process across multiple segments to maximize information coverage while maintaining temporal coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses the state-of-the-art accuracy across all viewing configurations (+0.65% to +3.05%) and delivers substantial gains in challenging domains (+26.22% bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that PATS successfully adapts to diverse activity characteristics-from high-frequency sampling for dynamic sports to fine-grained segmentation for sequential skills-demonstrating its effectiveness as an adaptive approach to temporal sampling that advances automated skill assessment for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google