Heterogeneous-Branch Collaborative Learning for Dialogue Generation

要約

深層学習の発展に伴い、高度な対話生成方法は通常、より多くの計算リソースを必要とします。
高性能で軽量なモデルを得るための有望なアプローチの 1 つは、知識の蒸留です。これは、事前にトレーニングされた強力な教師に大きく依存しています。
オンライン知識蒸留とも呼ばれる共同学習は、十分に訓練された大規模な教師モデルがない場合に、1 段階のグループ蒸留を行う効果的な方法です。
ただし、以前の作業には、同じトレーニング目的と独立した同一のトレーニング セットが原因で、深刻なブランチの均一性の問題があります。
この問題を軽減するために、ネットワーク ブランチのトレーニングで対話属性を考慮します。
各ブランチは、選択されたサブセットに基づいて属性関連の機能を学習します。
さらに、正蒸留と負蒸留からなるデュアルグループベースの知識蒸留法を提案し、さまざまな枝の特徴を着実かつ解釈可能な方法でさらに多様化します。
提案されたアプローチは、ブランチの不均一性を大幅に改善し、広く使用されている 2 つのオープン ドメイン対話データセットで最先端の共同学習方法よりも優れています。

要約(オリジナル)

With the development of deep learning, advanced dialogue generation methods usually require a greater amount of computational resources. One promising approach to obtaining a high-performance and lightweight model is knowledge distillation, which relies heavily on the pre-trained powerful teacher. Collaborative learning, also known as online knowledge distillation, is an effective way to conduct one-stage group distillation in the absence of a well-trained large teacher model. However, previous work has a severe branch homogeneity problem due to the same training objective and the independent identical training sets. To alleviate this problem, we consider the dialogue attributes in the training of network branches. Each branch learns the attribute-related features based on the selected subset. Furthermore, we propose a dual group-based knowledge distillation method, consisting of positive distillation and negative distillation, to further diversify the features of different branches in a steadily and interpretable way. The proposed approach significantly improves branch heterogeneity and outperforms state-of-the-art collaborative learning methods on two widely used open-domain dialogue datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google