Unsupervised Morphological Tree Tokenizer

要約

言語モデリングの基礎として、トークン化には、テキスト入力を事前定義されたアトミック単位にセグメント化することが含まれます。
従来の統計トークナイザーは、単語内の構成要素の境界を破壊することが多く、それにより意味情報が破損します。
この欠点に対処するために、トークン化に形態学的構造ガイダンスを導入し、単語の文字レベルの構造を誘導するための深いモデルを提案します。
具体的には、ディープ モデルは $\textit{MorphOverriding}$ という名前のメカニズムを使用して単語の内部構造と表現を共同でエンコードし、形態素の非分解性を保証します。
自己教師あり目標を使用してモデルをトレーニングすることにより、私たちの方法は、注釈付きトレーニング データなしで、形態学的規則に一致する文字レベルの構造を誘導することができます。
誘導された構造に基づいて、私たちのアルゴリズムはトップダウン方式での語彙マッチングを通じて単語をトークン化します。
経験的な結果は、提案された方法が完全な形態素を効果的に保持し、形態素セグメンテーションタスクと言語モデリングタスクの両方においてBPEやWordPieceなどの広く採用されている方法よりも優れていることを示しています。
コードは後ほど公開します。

要約(オリジナル)

As a cornerstone in language modeling, tokenization involves segmenting text inputs into pre-defined atomic units. Conventional statistical tokenizers often disrupt constituent boundaries within words, thereby corrupting semantic information. To address this drawback, we introduce morphological structure guidance to tokenization and propose a deep model to induce character-level structures of words. Specifically, the deep model jointly encodes internal structures and representations of words with a mechanism named $\textit{MorphOverriding}$ to ensure the indecomposability of morphemes. By training the model with self-supervised objectives, our method is capable of inducing character-level structures that align with morphological rules without annotated training data. Based on the induced structures, our algorithm tokenizes words through vocabulary matching in a top-down manner. Empirical results indicate that the proposed method effectively retains complete morphemes and outperforms widely adopted methods such as BPE and WordPiece on both morphological segmentation tasks and language modeling tasks. The code will be released later.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google