Character-level NMT and language similarity

要約

チェコ語とクロアチア語、ドイツ語、ハンガリー語、スロバキア語、スペイン語間の翻訳における言語の類似性とトレーニング データセットのサイズのさまざまなレベルに対して、Transformer アーキテクチャを使用した文字レベルのニューラル機械翻訳の有効性を調査します。
自動 MT メトリクスを使用してモデルを評価し、類似言語間の翻訳には文字レベルの入力セグメンテーションが役立つ一方、関連性の低い言語では、文字レベルの標準的な Transformer-base がサブワード レベルのセグメンテーションよりも遅れることが多いことを示しました。
すでにトレーニング済みのサブワードレベルのモデルを文字レベルに微調整することでギャップを埋めることが可能であるという以前の発見を確認します。

要約(オリジナル)

We explore the effectiveness of character-level neural machine translation using Transformer architecture for various levels of language similarity and size of the training dataset on translation between Czech and Croatian, German, Hungarian, Slovak, and Spanish. We evaluate the models using automatic MT metrics and show that translation between similar languages benefits from character-level input segmentation, while for less related languages, character-level vanilla Transformer-base often lags behind subword-level segmentation. We confirm previous findings that it is possible to close the gap by finetuning the already trained subword-level models to character-level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google