Multi-Mode Online Knowledge Distillation for Self-Supervised Visual Representation Learning

要約

タイトル: 自己教師あり視覚表現学習のためのマルチモードオンライン知識蒸留

要約:
– 自己教師あり学習(Self-supervised learning: SSL)は、視覚表現学習において重要な進展を見せている
– いくつかの研究は、小さなモデルの表現学習性能を向上させるために、SSLと知識蒸留(Knowledge distillation: KD)を組み合わせている
– この研究で、我々はマルチモードオンライン表現学習のための知識蒸留(Multi-mode Online Knowledge Distillation: MOKD)を提案する
– 既存のSSL-KD方法は、静的に事前学習されたモデルから知識を転移するが、MOKDでは、2つの異なるモデルが自己教師で協力的に学習する
– 具体的には、MOKDには2つの蒸留モードがあり、それぞれ自己蒸留とクロス蒸留モードがある
– クロス蒸留では、異なるモデル間で意味的な特徴の整列を強化するために、クロスアテンション機能検索戦略が提案される
– 結果として、2つのモデルはお互いから知識を吸収し、表現学習性能を向上させることができる
– 異なるバックボーンとデータセットでの多数の実験結果から、2つの異種モデルはMOKDから利益を得ることができ、独立して学習された基線を上回ることが示された
– また、MOKDは、教師モデルと学生モデルの両方において既存のSSL-KD方法よりも優れた性能を発揮した

要約(オリジナル)

Self-supervised learning (SSL) has made remarkable progress in visual representation learning. Some studies combine SSL with knowledge distillation (SSL-KD) to boost the representation learning performance of small models. In this study, we propose a Multi-mode Online Knowledge Distillation method (MOKD) to boost self-supervised visual representation learning. Different from existing SSL-KD methods that transfer knowledge from a static pre-trained teacher to a student, in MOKD, two different models learn collaboratively in a self-supervised manner. Specifically, MOKD consists of two distillation modes: self-distillation and cross-distillation modes. Among them, self-distillation performs self-supervised learning for each model independently, while cross-distillation realizes knowledge interaction between different models. In cross-distillation, a cross-attention feature search strategy is proposed to enhance the semantic feature alignment between different models. As a result, the two models can absorb knowledge from each other to boost their representation learning performance. Extensive experimental results on different backbones and datasets demonstrate that two heterogeneous models can benefit from MOKD and outperform their independently trained baseline. In addition, MOKD also outperforms existing SSL-KD methods for both the student and teacher models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI