Contrastive Knowledge Amalgamation for Unsupervised Image Classification

要約

知識融合 (KA) は、それぞれのタスクに特化した複数の教師モデルから共同目標を処理するためのコンパクトな学生モデルを学習することを目的としています。
現在の方法は、共通表現空間内で教師と生徒を大まかに調整することに焦点を当てているため、生徒が異質な教師のセットから適切な決定境界を学習することが困難になっています。
さらに、以前の研究における KL 発散は、教師と生徒の間の確率分布の差を最小限に抑えるだけであり、教師の固有の特性を無視していました。
したがって、我々は、クラス内の凝集とクラス間の分離を達成するために、コントラスト損失とアラインメント損失を導入する新しい対照知識融合（CKA）フレームワークを提案します。モデル内およびモデル間の対照損失は、表現間の距離を広げるように設計されています。
さまざまなクラスの。
アライメント損失は、共通表現空間における教師と生徒のモデルのサンプルレベルの分布の違いを最小限に抑えるために導入されています。さらに、学生は、タスクレベルの融合においてソフトターゲットを通じて効率的かつ柔軟に異種教師なし分類タスクを学習します。
ベンチマークに関する広範な実験により、特定のタスクと複数のタスクの融合における CKA の一般化機能が実証されています。
包括的なアブレーション研究により、CKA についてのさらなる洞察が得られます。

要約(オリジナル)

Knowledge amalgamation (KA) aims to learn a compact student model to handle the joint objective from multiple teacher models that are are specialized for their own tasks respectively. Current methods focus on coarsely aligning teachers and students in the common representation space, making it difficult for the student to learn the proper decision boundaries from a set of heterogeneous teachers. Besides, the KL divergence in previous works only minimizes the probability distribution difference between teachers and the student, ignoring the intrinsic characteristics of teachers. Therefore, we propose a novel Contrastive Knowledge Amalgamation (CKA) framework, which introduces contrastive losses and an alignment loss to achieve intra-class cohesion and inter-class separation.Contrastive losses intra- and inter- models are designed to widen the distance between representations of different classes. The alignment loss is introduced to minimize the sample-level distribution differences of teacher-student models in the common representation space.Furthermore, the student learns heterogeneous unsupervised classification tasks through soft targets efficiently and flexibly in the task-level amalgamation. Extensive experiments on benchmarks demonstrate the generalization capability of CKA in the amalgamation of specific task as well as multiple tasks. Comprehensive ablation studies provide a further insight into our CKA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google