Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering

要約

教師モデルと生徒モデルの間の特徴（の関係）を一致させる（関係）知識蒸留の経験的な成功と実用的重要性にもかかわらず、対応する理論的解釈はさまざまな知識蒸留パラダイムに対して依然として限られています。
この研究では、半教師あり分類問題に焦点を当てて、リレーショナル知識蒸留 (RKD) の理論的理解に向けた最初の一歩を踏み出します。
まず、教師モデルによって明らかにされた人口誘導グラフ上のスペクトル クラスタリングとして RKD をキャストします。
予測されたクラスタリングとグランド トゥルース ク​​ラスタリングの間の不一致を定量化するクラスタリング エラーの概念を介して、母集団に対する RKD がクラスタリング エラーの低下につながる可能性があることを示します。
さらに、限られた非標識サンプルを使用して、RKD に限定されたサンプルの複雑性を提供します。
半教師あり学習については、クラスタリングエラーが低いことを前提としたクラスター対応の半教師あり学習の一般的なフレームワークを通じて、RKD のラベル効率をさらに実証します。
最後に、データ拡張の整合性正則化をこのクラスター対応フレームワークに統合することで、正確なクラスタリングを学習するという共通の効果にもかかわらず、RKD はスペクトル クラスタリングを通じて「グローバル」な視点を促進するのに対し、整合性正則化は拡張を通じて「ローカル」な視点に焦点を当てていることを示します。

要約(オリジナル)

Despite the empirical success and practical significance of (relational) knowledge distillation that matches (the relations of) features between teacher and student models, the corresponding theoretical interpretations remain limited for various knowledge distillation paradigms. In this work, we take an initial step toward a theoretical understanding of relational knowledge distillation (RKD), with a focus on semi-supervised classification problems. We start by casting RKD as spectral clustering on a population-induced graph unveiled by a teacher model. Via a notion of clustering error that quantifies the discrepancy between the predicted and ground truth clusterings, we illustrate that RKD over the population provably leads to low clustering error. Moreover, we provide a sample complexity bound for RKD with limited unlabeled samples. For semi-supervised learning, we further demonstrate the label efficiency of RKD through a general framework of cluster-aware semi-supervised learning that assumes low clustering errors. Finally, by unifying data augmentation consistency regularization into this cluster-aware framework, we show that despite the common effect of learning accurate clusterings, RKD facilitates a ‘global’ perspective through spectral clustering, whereas consistency regularization focuses on a ‘local’ perspective via expansion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google