Word segmentation granularity in Korean

要約

この論文は、韓国語処理における単語の{セグメンテーション}粒度について説明します。
韓国語では、空白スペースで区切られた単語 (オジョル) から一連の形態素まで、韓国語の単語分割の粒度には複数の可能なレベルがあります。
韓国語を含む膠着言語は機能的形態素と構文カテゴリーの間に 1 対 1 のマッピングがあるため、特定の言語処理およびコーパス注釈タスクについては、いくつかの異なる粒度レベルが提案され、利用されています。
したがって、これらのさまざまな粒度レベルを分析し、将来の参考のために韓国語処理システムの例を示します。
興味深いことに、格マーカーや語尾を含む機能的形態素のみを分離し、形態素導出用に他の接尾辞を保持することによる粒度により、句構造の解析に最適なパフォーマンスが得られます。
これは、すべての形態素を分離する必要があるさまざまなアプリケーションの事実上の標準となっている韓国語処理のこれまでのベスト プラクティスに矛盾します。

要約(オリジナル)

This paper describes word {segmentation} granularity in Korean language processing. From a word separated by blank space, which is termed an eojeol, to a sequence of morphemes in Korean, there are multiple possible levels of word segmentation granularity in Korean. For specific language processing and corpus annotation tasks, several different granularity levels have been proposed and utilized, because the agglutinative languages including Korean language have a one-to-one mapping between functional morpheme and syntactic category. Thus, we analyze these different granularity levels, presenting the examples of Korean language processing systems for future reference. Interestingly, the granularity by separating only functional morphemes including case markers and verbal endings, and keeping other suffixes for morphological derivation results in the optimal performance for phrase structure parsing. This contradicts previous best practices for Korean language processing, which has been the de facto standard for various applications that require separating all morphemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google