LoSA: Long-Short-range Adapter for Scaling End-to-End Temporal Action Localization

要約

時間的アクション ローカリゼーション (TAL) には、トリミングされていないビデオ内のアクション スニペットのローカライズと分類が含まれます。
大規模なビデオ基盤モデルの出現により、RGB のみのビデオ バックボーンが、RGB とオプティカル フロー モダリティの両方を必要とする以前の方法よりも優れたパフォーマンスを発揮できるようになりました。
ビデオ バックボーンを TAL に適応させるには法外に大きな GPU メモリが必要となるため、これらの大規模なモデルの活用は、多くの場合、TAL ヘッドのトレーニングのみに限定されます。
この制限を克服するために、トリミングされていないビデオを処理できるように TAL 専用に設計された初のメモリとパラメータの効率に優れたバックボーン アダプターである LoSA を導入しました。
LoSA は、さまざまな時間範囲にわたってビデオ バックボーンの中間層を適応させる長距離-短距離アダプターを導入することで、TAL に特化しています。
これらのアダプターはビデオ バックボーンと並行して実行され、メモリー占有面積を大幅に削減します。
LoSA には、ビデオ バックボーン層からのこれらのアダプターの出力を戦略的に組み合わせて、TAL ヘッドに提供されるビデオ機能を強化する Long-Short-range Gated Fusion も含まれています。
実験によると、LoSA は、VideoMAEv2~(ViT-g) などの 10 億パラメータ以上のモデルにエンドツーエンドのバックボーン適応を拡張し、
頭だけの転移学習を超えたものになります。

要約(オリジナル)

Temporal Action Localization (TAL) involves localizing and classifying action snippets in an untrimmed video. The emergence of large video foundation models has led RGB-only video backbones to outperform previous methods needing both RGB and optical flow modalities. Leveraging these large models is often limited to training only the TAL head due to the prohibitively large GPU memory required to adapt the video backbone for TAL. To overcome this limitation, we introduce LoSA, the first memory-and-parameter-efficient backbone adapter designed specifically for TAL to handle untrimmed videos. LoSA specializes for TAL by introducing Long-Short-range Adapters that adapt the intermediate layers of the video backbone over different temporal ranges. These adapters run parallel to the video backbone to significantly reduce memory footprint. LoSA also includes Long-Short-range Gated Fusion that strategically combines the output of these adapters from the video backbone layers to enhance the video features provided to the TAL head. Experiments show that LoSA significantly outperforms all existing methods on standard TAL benchmarks, THUMOS-14 and ActivityNet-v1.3, by scaling end-to-end backbone adaptation to billion-parameter-plus models like VideoMAEv2~(ViT-g) and leveraging them beyond head-only transfer learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google