SkillFormer: Unified Multi-View Video Understanding for Proficiency Estimation

要約

複雑な活動における人間のスキルレベルを評価することは、スポーツ、リハビリテーション、トレーニングのアプリケーションの困難な問題です。
この作業では、エゴセントリックビデオおよびエキソセントリックビデオからの統一されたマルチビュー習熟度推定のパラメーター効率の高いアーキテクチャであるスキルフォーマーを提示します。
Timesformer Backboneに基づいて、Skillformerは、マルチヘッドクロスアテナテンション、学習可能なゲーティング、および適応性のあるセルフキャリブレーションを使用して、ビュー固有の機能を融合するCrossviewFusionモジュールを導入します。
低ランクの適応を活用して、パラメーターの小さなサブセットのみを微調整し、トレーニングコストを大幅に削減します。
実際、eGoExo4Dデータセットで評価されると、スキルフォーマーはマルチビュー設定で最先端の精度を達成しながら、4.5倍のパラメーターを使用して3.75倍少ないトレーニングエポックを使用して、顕著な計算効率を実証します。
それは複数の構造化されたタスクに優れており、きめ細かいスキル評価のためのマルチビュー統合の価値を確認します。

要約(オリジナル)

Assessing human skill levels in complex activities is a challenging problem with applications in sports, rehabilitation, and training. In this work, we present SkillFormer, a parameter-efficient architecture for unified multi-view proficiency estimation from egocentric and exocentric videos. Building on the TimeSformer backbone, SkillFormer introduces a CrossViewFusion module that fuses view-specific features using multi-head cross-attention, learnable gating, and adaptive self-calibration. We leverage Low-Rank Adaptation to fine-tune only a small subset of parameters, significantly reducing training costs. In fact, when evaluated on the EgoExo4D dataset, SkillFormer achieves state-of-the-art accuracy in multi-view settings while demonstrating remarkable computational efficiency, using 4.5x fewer parameters and requiring 3.75x fewer training epochs than prior baselines. It excels in multiple structured tasks, confirming the value of multi-view integration for fine-grained skill assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google