Comparison of Current Approaches to Lemmatization: A Case Study in Estonian

要約

この研究では、エストニア語に対する 3 つの異なる見出し語化アプローチ (生成文字レベル モデル、パターン ベースの単語レベル分類モデル、およびルール ベースの形態素解析) を評価します。
私たちの実験によると、大幅に小さい生成モデルは、EstBERT に基づくパターンベースの分類モデルよりも常に優れています。
さらに、3 つのモデルすべてで発生するエラーの重複が比較的小さいことが観察され、さまざまなアプローチのアンサンブルが改善につながる可能性があることを示しています。

要約(オリジナル)

This study evaluates three different lemmatization approaches to Estonian — Generative character-level models, Pattern-based word-level classification models, and rule-based morphological analysis. According to our experiments, a significantly smaller Generative model consistently outperforms the Pattern-based classification model based on EstBERT. Additionally, we observe a relatively small overlap in errors made by all three models, indicating that an ensemble of different approaches could lead to improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google