De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts

要約

データフリーの知識蒸留 (DFKD) は、元のトレーニング データに依存せずに、高性能の小規模モデルをトレーニングして実際の展開を強化する有望なタスクです。
既存の方法では、合成データやサンプリングされたデータを利用することで、プライベート データへの依存を回避するのが一般的です。
しかし、長い間見落とされてきた問題は、置換データと元のデータの間で深刻な分布のシフトがあり、それが画像の品質とクラスの割合に大きな違いとして現れるということです。
有害なシフトは本質的に、パフォーマンスのボトルネックを大幅に引き起こす交絡因子です。
この問題に取り組むために、この論文では、そのような変化の影響から学生モデルを解きほぐすための、因果推論による新しい視点を提案します。
カスタマイズされた因果関係グラフを設計することにより、最初に DFKD タスクの変数間の因果関係を明らかにします。
続いて、交絡因子の混乱を解消するためのバックドア調整に基づく知識蒸留因果介入 (KDCI) フレームワークを提案します。
KDCI は、既存の最先端のベースラインのほとんどと柔軟に組み合わせることができます。
6 つの代表的な DFKD 手法と組み合わせた実験は、KDCI の有効性を実証します。これは、ほぼすべての設定 (\textit{e.g.) の下で既存の手法に明らかに役立ち、CIFAR-100 データセットでベースラインの精度を最大 15.54\% 向上させます。

要約(オリジナル)

Data-Free Knowledge Distillation (DFKD) is a promising task to train high-performance small models to enhance actual deployment without relying on the original training data. Existing methods commonly avoid relying on private data by utilizing synthetic or sampled data. However, a long-overlooked issue is that the severe distribution shifts between their substitution and original data, which manifests as huge differences in the quality of images and class proportions. The harmful shifts are essentially the confounder that significantly causes performance bottlenecks. To tackle the issue, this paper proposes a novel perspective with causal inference to disentangle the student models from the impact of such shifts. By designing a customized causal graph, we first reveal the causalities among the variables in the DFKD task. Subsequently, we propose a Knowledge Distillation Causal Intervention (KDCI) framework based on the backdoor adjustment to de-confound the confounder. KDCI can be flexibly combined with most existing state-of-the-art baselines. Experiments in combination with six representative DFKD methods demonstrate the effectiveness of our KDCI, which can obviously help existing methods under almost all settings, \textit{e.g.}, improving the baseline by up to 15.54\% accuracy on the CIFAR-100 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google