要約
事前トレーニングされた文字レベルおよびバイトレベルの言語モデルは、さまざまな自然言語処理 (NLP) タスクにわたって一般的なサブワード モデルと競合することが示されています。
ただし、特に一般的な事前トレーニングしてから微調整するパラダイムにおいて、ニューラル機械翻訳 (NMT) に対するその有効性に関する研究はほとんどありません。
この研究では、NMT 上の文字レベルとサブワードレベルの事前学習済みモデル (それぞれ ByT5 と mT5) の複数の言語と実験条件にわたる広範な比較を実行します。
特に微調整データが限られている場合における、翻訳における文字レベルのモデリングの有効性を示します。
私たちの分析では、文字モデルの翻訳品質の向上が、正書法的に似た単語や珍しい単語のより良い翻訳にどのように反映されるかを示しています。
モデル予測を推進する際のソーステキストの重要性を評価する一方で、ByT5 内の単語レベルのパターンを強調し、生成中に単語レベルと文字レベルの情報を調整できることを示唆しています。
最後に、バイト モデルの効率のトレードオフを評価し、翻訳品質を向上させるために時間重視ではないシナリオでバイト モデルを使用することを提案します。
要約(オリジナル)
Pretrained character-level and byte-level language models have been shown to be competitive with popular subword models across a range of Natural Language Processing (NLP) tasks. However, there has been little research on their effectiveness for neural machine translation (NMT), particularly within the popular pretrain-then-finetune paradigm. This work performs an extensive comparison across multiple languages and experimental conditions of character- and subword-level pretrained models (ByT5 and mT5, respectively) on NMT. We show the effectiveness of character-level modeling in translation, particularly in cases where fine-tuning data is limited. In our analysis, we show how character models’ gains in translation quality are reflected in better translations of orthographically similar words and rare words. While evaluating the importance of source texts in driving model predictions, we highlight word-level patterns within ByT5, suggesting an ability to modulate word-level and character-level information during generation. We conclude by assessing the efficiency tradeoff of byte models, suggesting their usage in non-time-critical scenarios to boost translation quality.
arxiv情報
| 著者 | Lukas Edman,Gabriele Sarti,Antonio Toral,Gertjan van Noord,Arianna Bisazza |
| 発行日 | 2024-01-26 16:02:53+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google