A Novel Approach To Implementing Knowledge Distillation In Tsetlin Machines

要約

Tsetlinマシン（TM）は、接続詞句を使用してデータからパターンを学習する命題論理ベースのモデルです。
典型的なニューラルネットワークと同様に、Tsetlinマシンのパフォーマンスは、そのパラメーターカウントに大きく依存しており、より多くのパラメーターがより高い精度を生成し、実行が遅くなります。
ニューラルネットワークの知識蒸留は、既に訓練された教師モデルから小規模な学生モデルに情報を転送し、実行時間を増やすことなく生徒の精度を高めます。
生徒に追加のコンテキストを提供するために、教師の各出力サンプルの確率分布を利用することにより、Tsetlinマシンで知識蒸留を実装するための新しいアプローチを提案します。
さらに、教師の各条項の重要性を比較検討し、最も重要なデータのみで生徒を初期化する新しい節転送アルゴリズムを提案します。
私たちのアルゴリズムは、画像認識とテキスト分類のテストされたドメインのレイテンシに悪影響を与えることなく、学生モデルのパフォーマンスを大幅に改善できることがわかります。

要約(オリジナル)

The Tsetlin Machine (TM) is a propositional logic based model that uses conjunctive clauses to learn patterns from data. As with typical neural networks, the performance of a Tsetlin Machine is largely dependent on its parameter count, with a larger number of parameters producing higher accuracy but slower execution. Knowledge distillation in neural networks transfers information from an already-trained teacher model to a smaller student model to increase accuracy in the student without increasing execution time. We propose a novel approach to implementing knowledge distillation in Tsetlin Machines by utilizing the probability distributions of each output sample in the teacher to provide additional context to the student. Additionally, we propose a novel clause-transfer algorithm that weighs the importance of each clause in the teacher and initializes the student with only the most essential data. We find that our algorithm can significantly improve performance in the student model without negatively impacting latency in the tested domains of image recognition and text classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google