Local Byte Fusion for Neural Machine Translation

要約

サブワードトークン化スキームは、現在の NLP モデルで使用されている主要な技術です。
ただし、そのようなスキームは厳格である可能性があり、1 つのコーパスに基づいて構築されたトークナイザーは、他の並列コーパスにうまく適応できません。
また、多言語コーパスでは、サブワードのトークン化スキームが低リソース言語を過剰にセグメント化し、翻訳パフォーマンスの低下につながることも観察されています。
サブワード トークナイザーの簡単な代替方法は、バイトベースの方法、つまり、UTF-8 などのエンコード スキームを使用してバイト シーケンスにトークン化することです。
バイト トークンは、サブ文字の粒度で入力を表すことがよくあります。つまり、1 つの文字を複数のバイト トークンのシーケンスで表すことができます。
その結果、バイト シーケンスは文字シーケンスよりも大幅に長くなります。
下位層でのローカル情報の集約を強制すると、モデルがより高いレベルのセマンティック情報を構築するように誘導できます。
我々は、バイト $n$-gram と単語境界を利用してローカル意味情報を集約する、バイトベースの機械翻訳のための Local Byte Fusion (LOBEF) 手法を提案します。
多言語翻訳、ゼロショット言語間転送、ドメイン適応に関する広範な実験により、従来のバイトベースのモデル、さらにはサブワード技術に比べて一貫した改善が明らかになりました。
さらに分析を進めると、バイトベースのモデルはパラメータ効率が高く、サブワード モデルよりも高速にトレーニングできることも示されています。

要約(オリジナル)

Subword tokenization schemes are the dominant technique used in current NLP models. However, such schemes can be rigid and tokenizers built on one corpus do not adapt well to other parallel corpora. It has also been observed that in multilingual corpora, subword tokenization schemes over-segment low-resource languages leading to a drop in translation performance. A simple alternative to subword tokenizers is byte-based methods i.e. tokenization into byte sequences using encoding schemes such as UTF-8. Byte tokens often represent inputs at a sub-character granularity i.e. one character can be represented by a sequence of multiple byte tokens. This results in byte sequences that are significantly longer than character sequences. Enforcing aggregation of local information in the lower layers can guide the model to build higher-level semantic information. We propose a Local Byte Fusion (LOBEF) method for byte-based machine translation — utilizing byte $n$-gram and word boundaries — to aggregate local semantic information. Extensive experiments on multilingual translation, zero-shot cross-lingual transfer, and domain adaptation reveal a consistent improvement over traditional byte-based models and even over subword techniques. Further analysis also indicates that our byte-based models are parameter-efficient and can be trained faster than subword models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google