JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition

要約

私たちは、複数のデータセットの半教師あり学習手法である JEDI を提案します。これは、異なるデータセットで学習した複数の専門家からの知識を効率的に組み合わせて、データセットごとの個々の学生モデルのトレーニングとパフォーマンスの向上を実現します。
私たちのアプローチは、現在の機械学習研究における 2 つの重要な問題、つまりデータセット全体にわたる一般化と、ラベル付きデータの不足による教師ありトレーニングの制限に対処することでこれを実現します。
まず、学生モデルの初期セットを形成する、独自のデータセットで事前トレーニングされた任意の数の専門家から始めます。
教師は、生徒の最後から 2 番目のレイヤーからの特徴表現を連結することによって直ちに導出されます。
次に、収束するまで、生徒と教師の半教師あり学習シナリオですべてのモデルをトレーニングします。
私たちの効率的なアプローチでは、生徒と教師のトレーニングが共同でエンドツーエンドで実施され、生徒と教師の両方がトレーニング中に一般化能力を向上させることが示されています。
4 つのビデオ アクション認識データセットに対するアプローチを検証します。
統一された半教師あり設定内ですべてのデータセットを同時に検討することにより、初期の専門家に比べて大幅な改善が見られることが実証されました。

要約(オリジナル)

We propose JEDI, a multi-dataset semi-supervised learning method, which efficiently combines knowledge from multiple experts, learned on different datasets, to train and improve the performance of individual, per dataset, student models. Our approach achieves this by addressing two important problems in current machine learning research: generalization across datasets and limitations of supervised training due to scarcity of labeled data. We start with an arbitrary number of experts, pretrained on their own specific dataset, which form the initial set of student models. The teachers are immediately derived by concatenating the feature representations from the penultimate layers of the students. We then train all models in a student-teacher semi-supervised learning scenario until convergence. In our efficient approach, student-teacher training is carried out jointly and end-to-end, showing that both students and teachers improve their generalization capacity during training. We validate our approach on four video action recognition datasets. By simultaneously considering all datasets within a unified semi-supervised setting, we demonstrate significant improvements over the initial experts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google