A Generic Approach for Reproducible Model Distillation

要約

タイトル：再現可能なモデル蒸留のための汎用的なアプローチ
要約：
– モデル蒸留は、解釈可能な機械学習を生成するための一般的な手法である。
– ブラックボックスの「先生」モデルが行った予測を模倣するために、解釈可能な「生徒」モデルを使用する。
– ただし、生徒モデルが、先生モデルを固定していてもトレーニングに使用されるデータセットの変動性に敏感である場合、関連する解釈は信頼性に欠ける。
– 既存の戦略は、十分な疑似データコーパスが生成され、生徒モデルが信頼できるように安定化することを確認する。ただし、これまでこれを行う方法は特定の生徒モデル向けに開発されてきた。
– この論文では、平均損失の中心極限定理に基づく安定したモデル蒸留のための汎用的なアプローチを開発する。
– 候補生徒モデルのコレクションから始め、先生モデルと合意しうる候補を検索する。
– 次に、一連の多重テストフレームワークを構築し、異なる疑似サンプルの下で一貫した生徒モデルが選択されるようにコーパスサイズを選択する。
– この提案されたアプローチの応用例として、決定木、落ち着いたルールリスト、および記号的回帰の3つの一般的に使用される解釈可能なモデルについて実証実験を実施する。
– 最後に、マンモグラフィックマスと乳癌のデータセット上でシミュレーション実験を実行し、マルコフ過程の理論分析を通じてテスト手順を説明する。
– コードは https://github.com/yunzhe-zhou/GenericDistillation で公開されています。

要約(オリジナル)

Model distillation has been a popular method for producing interpretable machine learning. It uses an interpretable ‘student’ model to mimic the predictions made by the black box ‘teacher’ model. However, when the student model is sensitive to the variability of the data sets used for training even when keeping the teacher fixed, the corresponded interpretation is not reliable. Existing strategies stabilize model distillation by checking whether a large enough corpus of pseudo-data is generated to reliably reproduce student models, but methods to do so have so far been developed for a specific student model. In this paper, we develop a generic approach for stable model distillation based on central limit theorem for the average loss. We start with a collection of candidate student models and search for candidates that reasonably agree with the teacher. Then we construct a multiple testing framework to select a corpus size such that the consistent student model would be selected under different pseudo samples. We demonstrate the application of our proposed approach on three commonly used intelligible models: decision trees, falling rule lists and symbolic regression. Finally, we conduct simulation experiments on Mammographic Mass and Breast Cancer datasets and illustrate the testing procedure throughout a theoretical analysis with Markov process. The code is publicly available at https://github.com/yunzhe-zhou/GenericDistillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI