Towards the Fundamental Limits of Knowledge Transfer over Finite Domains

要約

ラベル $\mathcal A$ 上の入力空間 $\mathcal S$ を使用して、教師から確率的生徒分類器への $n$ サンプルを介した知識伝達の統計的効率を特徴付けます。
私たちは、3 つの段階的なレベルの特権情報が転送を加速することを示します。
最初のレベルでは、ハードラベルを持つサンプルのみが既知であり、これにより最尤推定器は最小レート $\sqrt{{|{\mathcal S}||{\mathcal A}|}/{n}}$ を達成します。
2 番目のレベルには、さらに利用可能なサンプリングされたラベルの教師確率があり、これにより収束率の下限が ${{|{\mathcal S}||{\mathcal A}|}/{n}}$ まで上昇することがわかります。
ただし、この 2 番目のデータ取得プロトコルでは、クロスエントロピー損失の単純な適応を最小限に抑えると、スチューデントが漸近的に偏ることになります。
私たちは、二乗誤差ロジット損失の新しい経験的変形を使用することで、この制限を克服し、基本的な制限を達成します。
3 番目のレベルではさらに、サンプル入力ごとに ${\mathcal A}$ のソフト ラベル (完全なロジット) を生徒に提供します。これにより、生徒はおそらく ${|{\mathcal S}|}/{n のレートを享受できるようになります。
}$ は $|{\mathcal A}|$ から解放されます。
最後のケースでは、カルバック・ライブラー発散最小化関数が最適であることがわかります。
数値シミュレーションにより 4 つの学習者が区別され、私たちの理論が裏付けられます。

要約(オリジナル)

We characterize the statistical efficiency of knowledge transfer through $n$ samples from a teacher to a probabilistic student classifier with input space $\mathcal S$ over labels $\mathcal A$. We show that privileged information at three progressive levels accelerates the transfer. At the first level, only samples with hard labels are known, via which the maximum likelihood estimator attains the minimax rate $\sqrt{{|{\mathcal S}||{\mathcal A}|}/{n}}$. The second level has the teacher probabilities of sampled labels available in addition, which turns out to boost the convergence rate lower bound to ${{|{\mathcal S}||{\mathcal A}|}/{n}}$. However, under this second data acquisition protocol, minimizing a naive adaptation of the cross-entropy loss results in an asymptotically biased student. We overcome this limitation and achieve the fundamental limit by using a novel empirical variant of the squared error logit loss. The third level further equips the student with the soft labels (complete logits) on ${\mathcal A}$ given every sampled input, thereby provably enables the student to enjoy a rate ${|{\mathcal S}|}/{n}$ free of $|{\mathcal A}|$. We find any Kullback-Leibler divergence minimizer to be optimal in the last case. Numerical simulations distinguish the four learners and corroborate our theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google