Splintering Nonconcatenative Languages for Better Tokenization

要約

BPEやUnigramlmなどの一般的なサブワードトークン化アルゴリズムは、連結対策だけでテキストを意味のあるユニットに分割できると想定しています。
これは、形態がルートテンプレートパターンでエンコードされているヘブライ語やアラビア語などの言語、または分割接フが一般的なマレー語とジョージアンなどの言語には当てはまりません。
スプリンターを提示します。これは、テキストをそのような非con菌形態をよりよく表す線形形式に再配置し、トークン剤によって見つかる意味のある隣接セグメントを可能にします。
ヘブライ語、アラビア語、マレー語のトークン語彙を評価する本質的な措置の両方を使用して、Splinterのメリットを実証します。
ヘブライ語のために訓練されたBert-Architectureモデルを使用した下流のタスクと同様に。

要約(オリジナル)

Common subword tokenization algorithms like BPE and UnigramLM assume that text can be split into meaningful units by concatenative measures alone. This is not true for languages such as Hebrew and Arabic, where morphology is encoded in root-template patterns, or Malay and Georgian, where split affixes are common. We present SPLINTER, a pre-processing step which rearranges text into a linear form that better represents such nonconcatenative morphologies, enabling meaningful contiguous segments to be found by the tokenizer. We demonstrate SPLINTER’s merit using both intrinsic measures evaluating token vocabularies in Hebrew, Arabic, and Malay; as well as on downstream tasks using BERT-architecture models trained for Hebrew.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google