A Part-of-Speech Tagger for Yiddish

要約

イディッシュ語の品詞タグ付けの構築と評価について説明します。
これは、言語研究を目的としてイディッシュ語テキストに品詞タグと構文構造を自動的に割り当てる大規模なプロジェクトの最初のステップです。
現在の作業では、ペンの歴史イディッシュ語コーパス (PPCHY) の 80,000 語のサブセットと、イディッシュ ブック センター (YBC) の OCR 処理されたイディッシュ語テキストの 6 億 5,000 万語の 2 つのリソースを組み合わせています。
YBC コーパスのイディッシュ語の正書法には多くのスペルの不一致があり、YBC でトレーニングされた単純な非文脈化埋め込みでも、最初にコーパスを「標準化」する必要なく、スペルの異形間の関係を捉えることができるという証拠をいくつか示します。
また、コンテキスト化された埋め込みの継続的な事前トレーニングにも YBC を使用し、その後、PPCHY でトレーニングおよび評価されたタガー モデルに統合されます。
10 分割相互検証分割でタガーのパフォーマンスを評価し、コンテキスト化された埋め込みに YBC テキストを使用するとタガーのパフォーマンスが向上することを示しています。
最後に、追加の注釈付きトレーニング データとテスト データの必要性など、次のステップについて説明します。

要約(オリジナル)

We describe the construction and evaluation of a part-of-speech tagger for Yiddish. This is the first step in a larger project of automatically assigning part-of-speech tags and syntactic structure to Yiddish text for purposes of linguistic research. We combine two resources for the current work – an 80K-word subset of the Penn Parsed Corpus of Historical Yiddish (PPCHY) and 650 million words of OCR’d Yiddish text from the Yiddish Book Center (YBC). Yiddish orthography in the YBC corpus has many spelling inconsistencies, and we present some evidence that even simple non-contextualized embeddings trained on YBC are able to capture the relationships among spelling variants without the need to first ‘standardize’ the corpus. We also use YBC for continued pretraining of contexualized embeddings, which are then integrated into a tagger model trained and evaluated on the PPCHY. We evaluate the tagger performance on a 10-fold cross-validation split, showing that the use of the YBC text for the contextualized embeddings improves tagger performance. We conclude by discussing some next steps, including the need for additional annotated training and test data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google