Improving End-to-End Speech Translation by Imitation-Based Knowledge Distillation with Synthetic Transcripts

要約

エンドツーエンドの自動音声翻訳 (AST) は、音声入力とテキスト翻訳出力を組み合わせたデータに依存します。
以前の研究では、知識蒸留 (KD) セットアップで転写と翻訳の既存の大規模な並列コーパスを使用して、ニューラル機械翻訳 (NMT) を AST 学生モデルに蒸留しました。
KD では大規模な事前トレーニング済みモデルの使用が可能ですが、以前の KD アプローチはデータ パイプライン内の手動音声トランスクリプトに依存しているため、このフレームワークの AST への適用は制限されています。
教師の NMT システムが手動の成績証明書に頼らずに AST 生徒の間違いを修正する模倣学習アプローチを紹介します。
NMT 教師が自動転写のエラーから回復でき、AST 生徒の誤った翻訳を修正できることを示し、英語-ドイツ語 CoVoST の標準的な AST エンドツーエンド ベースラインよりも約 4 BLEU ポイントの改善につながりました。
それぞれ 2 および MuST-C データセット。
コードとデータは公開されています。\footnote{\url{https://github.com/HubReb/imitkd_ast/releases/tag/v1.1}}

要約(オリジナル)

End-to-end automatic speech translation (AST) relies on data that combines audio inputs with text translation outputs. Previous work used existing large parallel corpora of transcriptions and translations in a knowledge distillation (KD) setup to distill a neural machine translation (NMT) into an AST student model. While KD allows using larger pretrained models, the reliance of previous KD approaches on manual audio transcripts in the data pipeline restricts the applicability of this framework to AST. We present an imitation learning approach where a teacher NMT system corrects the errors of an AST student without relying on manual transcripts. We show that the NMT teacher can recover from errors in automatic transcriptions and is able to correct erroneous translations of the AST student, leading to improvements of about 4 BLEU points over the standard AST end-to-end baseline on the English-German CoVoST-2 and MuST-C datasets, respectively. Code and data are publicly available.\footnote{\url{https://github.com/HubReb/imitkd_ast/releases/tag/v1.1}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google