How do different tokenizers perform on downstream tasks in scriptio continua languages?: A case study in Japanese

要約

この論文では、日本語をケーススタディとして使用し、単語間に明示的なスペースが存在しない scriptio continua 言語における事前トレーニング済み言語モデル (PLM) の下流側のパフォーマンスに対するトークナイザーの影響を調査します。
このような言語のトークナイザーは形態素アナライザーとサブワード トークナイザーで構成されることが多く、考えられるすべてのペアについて包括的な調査を行う必要があります。
しかし、これまでの研究にはこのような包括性が欠けています。
したがって、私たちは広範なトークナイザーのセットをトレーニングし、それぞれを使用して PLM を構築し、幅広いタスクにおけるダウンストリームのパフォーマンスを測定します。
私たちの結果は、各ダウンストリーム タスクには異なる最適な形態素解析器があり、タスクの種類に関係なく、サブワード トークナイザーとして WordPiece ではなく Byte-Pair-Encoding または Unigram を使用する方が良いことを示しています。

要約(オリジナル)

This paper investigates the effect of tokenizers on the downstream performance of pretrained language models (PLMs) in scriptio continua languages where no explicit spaces exist between words, using Japanese as a case study. The tokenizer for such languages often consists of a morphological analyzer and a subword tokenizer, requiring us to conduct a comprehensive study of all possible pairs. However, previous studies lack this comprehensiveness. We therefore train extensive sets of tokenizers, build a PLM using each, and measure the downstream performance on a wide range of tasks. Our results demonstrate that each downstream task has a different optimal morphological analyzer, and that it is better to use Byte-Pair-Encoding or Unigram rather than WordPiece as a subword tokenizer, regardless of the type of task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google