Analysis of Levenshtein Transformer’s Decoder and Its Variants

要約

レーベンシュタイン変換器 (LevT) は、並列デコードと反復改良手順により、高いデコード効率と bleu スコアの点で同等の翻訳品質を備えた非自己回帰機械翻訳モデルです。
翻訳に不備はありますか?また、改善の余地はありますか?
このレポートでは、LevT のデコーダに焦点を当て、デコード結果の長さ、サブワード生成、および削除モジュールの機能を分析します。
今後の改善のためにデコーダの弱点を特定したいと考えています。
また、オリジナルの LevT、知識を抽出した LevT、翻訳メモリを使用した LevT、および翻訳メモリを使用した KD-LevT の翻訳を比較して、KD と翻訳メモリがどのように役立つかを確認します。

要約(オリジナル)

Levenshtein transformer (LevT) is a non-autoregressive machine translation model with high decoding efficiency and comparable translation quality in terms of bleu score, due to its parallel decoding and iterative refinement procedure. Are there any deficiencies of its translations and what improvements could be made? In this report, we focus on LevT’s decoder and analyse the decoding results length, subword generation, and deletion module’s capability. We hope to identify weaknesses of the decoder for future improvements. We also compare translations of the original LevT, knowledge-distilled LevT, LevT with translation memory, and the KD-LevT with translation memory to see how KD and translation memory can help.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google