The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework

要約

ビデオ データのラベル効率的な学習のコンテキストでは、抽出方法と教師と生徒のアーキテクチャの構造設計が知識の抽出に大きな影響を与えます。
しかし、これらの要因間の関係は、これまでの研究では見落とされてきました。
このギャップに対処するために、学生モデルの効率と精度を向上させるように設計された、ビデオ分類における知識蒸留のための新しい弱教師あり学習フレームワークを提案します。
私たちのアプローチは、サブステージベースの学習の概念を活用して、生徒のサブステージの組み合わせと、対応するサブステージの相関関係に基づいて知識を抽出します。
また、教師と生徒の間の大きな能力差によって引き起こされる精度の低下に対処するために、プログレッシブ カスケード トレーニング方法も採用しています。
さらに、初期データラベルを改善するための擬似ラベル最適化戦略を提案します。
トレーニング プロセス中にさまざまな蒸留サブステージの損失関数を最適化するために、特徴分布に基づく新しい損失手法を導入します。
私たちは実際のデータセットとシミュレートされたデータセットの両方で広範な実験を実施し、ビデオ分類タスクの知識の蒸留に関して、私たちが提案するアプローチが既存の蒸留方法よりも優れていることを実証しました。
私たちが提案するサブステージベースの蒸留アプローチは、ビデオ データのラベル効率的な学習に関する将来の研究に役立つ可能性があります。

要約(オリジナル)

In the context of label-efficient learning on video data, the distillation method and the structural design of the teacher-student architecture have a significant impact on knowledge distillation. However, the relationship between these factors has been overlooked in previous research. To address this gap, we propose a new weakly supervised learning framework for knowledge distillation in video classification that is designed to improve the efficiency and accuracy of the student model. Our approach leverages the concept of substage-based learning to distill knowledge based on the combination of student substages and the correlation of corresponding substages. We also employ the progressive cascade training method to address the accuracy loss caused by the large capacity gap between the teacher and the student. Additionally, we propose a pseudo-label optimization strategy to improve the initial data label. To optimize the loss functions of different distillation substages during the training process, we introduce a new loss method based on feature distribution. We conduct extensive experiments on both real and simulated data sets, demonstrating that our proposed approach outperforms existing distillation methods in terms of knowledge distillation for video classification tasks. Our proposed substage-based distillation approach has the potential to inform future research on label-efficient learning for video data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google