Investigating the effect of sub-word segmentation on the performance of transformer language models

要約

形態素が言語モデルのパフォーマンスにどのような影響を与えるかを調査したいと思います。
GPT-2 と Bert モデルを、フィンランド語とロシア語の両方について、形態素分割アルゴリズムである StateMorph を使用してトレーニングしました。
比較として、BPE と Morfessor を使用してモデルをトレーニングしました。
私たちの暫定的な結果は、StateMorph がモデルをより効率的に収束させ、より良い検証スコアを達成するのに役立つことを示しています。

要約(オリジナル)

We would like to explore how morphemes can affect the performance of a language model. We trained GPT-2 and Bert model with StateMorph for both Finnish and Russian, which is a morpheme segmenting algorithm. As a comparison, we also trained a model with BPE and Morfessor. Our preliminary result shows that StateMorph can help the model to converge more efficiently and achieve a better validation score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google