Multi-Level Feature Distillation of Joint Teachers Trained on Distinct Image Datasets

要約

私たちは、異なるデータセットで訓練された複数の教師から知識を抽出するための、新しい教師と生徒のフレームワークを提案します。
各教師はまず、独自のデータセットでゼロからトレーニングされます。
次に、教師は共同アーキテクチャに結合され、すべての教師の機能が複数の表現レベルで融合されます。
共同教師アーキテクチャはすべてのデータセットのサンプルに基づいて微調整され、すべてのデータ サンプルから有用な一般情報を収集します。
最後に、マルチレベルの特徴抽出手順を使用して、考慮された各データセットの知識をスチューデント モデルに転送します。
7つのベンチマークについて画像分類実験を、3つのベンチマークについて行動認識実験を実施しました。
特徴抽出手順の威力を説明するために、生徒のアーキテクチャが個々の教師のアーキテクチャと同一になるように選択されています。
私たちのアプローチの柔軟性を実証するために、教師と異なるアーキテクチャを組み合わせています。
私たちの新しいマルチレベル特徴抽出 (MLFD) は、個別のデータセットでトレーニングされた、またはすべてのデータセットで一度に共同トレーニングされた同等のアーキテクチャを大幅に上回ることができることを示します。
さらに、提案されたトレーニング手順の各ステップが、包括的なアブレーション研究によって十分に動機づけられていることを確認します。
コードは https://github.com/AdrianIordache/MLFD で公開されています。

要約(オリジナル)

We propose a novel teacher-student framework to distill knowledge from multiple teachers trained on distinct datasets. Each teacher is first trained from scratch on its own dataset. Then, the teachers are combined into a joint architecture, which fuses the features of all teachers at multiple representation levels. The joint teacher architecture is fine-tuned on samples from all datasets, thus gathering useful generic information from all data samples. Finally, we employ a multi-level feature distillation procedure to transfer the knowledge to a student model for each of the considered datasets. We conduct image classification experiments on seven benchmarks, and action recognition experiments on three benchmarks. To illustrate the power of our feature distillation procedure, the student architectures are chosen to be identical to those of the individual teachers. To demonstrate the flexibility of our approach, we combine teachers with distinct architectures. We show that our novel Multi-Level Feature Distillation (MLFD) can significantly surpass equivalent architectures that are either trained on individual datasets, or jointly trained on all datasets at once. Furthermore, we confirm that each step of the proposed training procedure is well motivated by a comprehensive ablation study. We publicly release our code at https://github.com/AdrianIordache/MLFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google