Improving Neural Topic Models with Wasserstein Knowledge Distillation

要約

トピック モデリングは、Web やデジタル ライブラリのドキュメント コレクションを探索するための主要な方法です。
トピック モデリングへの最近のアプローチでは、事前トレーニング済みのコンテキスト化された言語モデルと変分オートエンコーダーが使用されます。
ただし、大規模なニューラル トピック モデルには、かなりのメモリ フットプリントがあります。
このホワイト ペーパーでは、トピックの品質を損なうことなく、コンテキスト化されたトピック モデルを圧縮するための知識蒸留フレームワークを提案します。
特に、提案された蒸留の目的は、教師モデルと生徒モデルによって生成されたソフトラベルの交差エントロピーを最小化することと、2 つのモデルによって学習された潜在分布間の 2 乗ワッサースタイン距離を最小化することです。
公開されている 2 つのデータセットでの実験では、知識の蒸留で訓練された生徒は、元の生徒モデルよりもはるかに高いトピックの一貫性を達成し、教師よりもはるかに少ないパラメーターを含んでいるにもかかわらず、教師をしのぐことさえあります。
抽出されたモデルは、トピックの一貫性においても、競合する他のいくつかのトピック モデルよりも優れています。

要約(オリジナル)

Topic modeling is a dominant method for exploring document collections on the web and in digital libraries. Recent approaches to topic modeling use pretrained contextualized language models and variational autoencoders. However, large neural topic models have a considerable memory footprint. In this paper, we propose a knowledge distillation framework to compress a contextualized topic model without loss in topic quality. In particular, the proposed distillation objective is to minimize the cross-entropy of the soft labels produced by the teacher and the student models, as well as to minimize the squared 2-Wasserstein distance between the latent distributions learned by the two models. Experiments on two publicly available datasets show that the student trained with knowledge distillation achieves topic coherence much higher than that of the original student model, and even surpasses the teacher while containing far fewer parameters than the teacher’s. The distilled model also outperforms several other competitive topic models on topic coherence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google