Decouple Non-parametric Knowledge Distillation For End-to-end Speech Translation

要約

【タイトル】エンドツーエンド音声翻訳のための非パラメトリック知識蒸留の分離

【要約】
– 既存の技術は、通常強力な機械翻訳（MT）から音声翻訳（ST）モデルへの知識転移を行い、トランスクリプションを必要とする詳細な技術をいくつか試みている。
– しかし、トランスクリプションが常に利用可能とは限らず、トランスクリプションなしでSTモデルのパフォーマンスを改善する方法、つまりデータ効率を向上させる方法については、文献でほとんど研究されていない。
– この論文では、データの観点からDecoupled Non-parametric Knowledge Distillation（DNKD）を提案して、データ効率を向上させる。
– この方法は、知識蒸留のパラダイムに従います。
– しかし、単純なMTモデルから教師分布を取得する代わりに、非パラメトリックなデータストアからk-最近傍（kNN）検索を使用して構築するため、トランスクリプションおよびMTモデルに依存しなくなります。
– そして、古典的な知識蒸留の損失をターゲット蒸留と非ターゲット蒸留に解体して、非ターゲットロジット間の知識の効果、つまり突出した「暗い知識」を強化します。
– MuST-Cコーパスでの実験では、提案手法は、トランスクリプションを必要とせずに強力なベースラインに比べて一貫して改善を達成できることが示された。

要約(オリジナル)

Existing techniques often attempt to make knowledge transfer from a powerful machine translation (MT) to speech translation (ST) model with some elaborate techniques, which often requires transcription as extra input during training. However, transcriptions are not always available, and how to improve the ST model performance without transcription, i.e., data efficiency, has rarely been studied in the literature. In this paper, we propose Decoupled Non-parametric Knowledge Distillation (DNKD) from data perspective to improve the data efficiency. Our method follows the knowledge distillation paradigm. However, instead of obtaining the teacher distribution from a sophisticated MT model, we construct it from a non-parametric datastore via k-Nearest-Neighbor (kNN) retrieval, which removes the dependence on transcription and MT model. Then we decouple the classic knowledge distillation loss into target and non-target distillation to enhance the effect of the knowledge among non-target logits, which is the prominent ‘dark knowledge’. Experiments on MuST-C corpus show that, the proposed method can achieve consistent improvement over the strong baseline without requiring any transcription.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI