SELF-VS: Self-supervised Encoding Learning For Video Summarization

要約

幅広いアプリケーションにもかかわらず、ビデオの要約は、主にフレームレベルの注釈の労働集約的でコストのかかる性質のために、大規模なデータセットの不足によって依然として妨げられています。
その結果、既存のビデオ要約方法はオーバーフィッティングになりがちです。
この課題を軽減するために、知識の蒸留を使用して変換エンコーダーを事前トレーニングする、新しい自己教師付きビデオ表現学習方法を提案します。
私たちの方法は、フレームの重要度スコアに関して構築されたセマンティックビデオ表現を、ビデオ分類でトレーニングされたCNNから派生した表現に一致させます。
Kendall の $\tau$ や Spearman の $\rho$ などの相関ベースのメトリックに関する経験的評価は、相対スコアを入力フレームに割り当てる際の既存の最先端の方法と比較して、私たちのアプローチの優位性を示しています。

要約(オリジナル)

Despite its wide range of applications, video summarization is still held back by the scarcity of extensive datasets, largely due to the labor-intensive and costly nature of frame-level annotations. As a result, existing video summarization methods are prone to overfitting. To mitigate this challenge, we propose a novel self-supervised video representation learning method using knowledge distillation to pre-train a transformer encoder. Our method matches its semantic video representation, which is constructed with respect to frame importance scores, to a representation derived from a CNN trained on video classification. Empirical evaluations on correlation-based metrics, such as Kendall’s $\tau$ and Spearman’s $\rho$ demonstrate the superiority of our approach compared to existing state-of-the-art methods in assigning relative scores to the input frames.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google